Žďárská tvrz stojí na skalním výběžku kostelní ostrožny nad řekou Sázavou v severozápadní části někdejšího městečka Žďáru. Podle pověsti byla vybudována spolu s kostelem sv. Prokopa kolem roku 1135 dvěma bratry, majiteli dolů, na skále nad osadou uhlířů a havířů. Později byla tvrz spojována s Hamrmýlem – tamní tvrz ze 14. století byla ovšem součástí areálu hamru. První písemnou zmínku hovořící zcela bezpečně o této naší žďárské tvrzi máme až z roku 1478, kdy se jejím majitelem stává Augustin po své matce a bratrech Mikuláši a Danielovi, pozůstalých po rychtáři Hanušovi, který na ní sídlil ve druhé půli 15. století. Kdo, kdy a proč ji postavil, tedy nevíme, teorií je mnoho, žádná však není spolehlivě doložena.
1.) Miroslav Plaček datuje vznik žďárské tvrze do období po roce 1300 a považuje ji za součást dvorce rychtáře. Za sídlo rychtářů ji považovali i Metoděj Zemek s Antonínem Bartuškem, naopak Jaroslav Sadílek s tím nesouhlasil vzhledem k absenci blízkého hospodářského zázemí. Přesto není nemožné, že se v prostoru před vstupem do paláce drobné zázemí nacházelo (minimálně provozní – stáj), případně že rychtář vlastnil zároveň dům se zázemím ve městě (tvrz by měla původně jen strážní funkci).
2.) Jaroslav Sadílek navrhl možnost, že po vyplenění kláštera husity roku 1423 vybudoval žďárskou tvrz jako své důstojné sídlo rytíř Mikuláš z Buchova, který se ve 40. letech 15. století připomíná jako vladař žďárského panství (zástupce fundátora Jiřího z Poděbrad) a později získal Vojnův Městec.
3.) Tvrz mohla být strážní stavbou vybudovanou městečkem. Miroslav Plaček s touto možností nesouhlasí, neboť Žďár neměl hradby, ovšem zdí byl ohrazený areál kostela a patrně i fary a opevnění tvrze na ně mohlo být napojeno.
4.) Tvrz sloužila jako mýtnice u cesty vedoucí do města. Tato teorie naráží na jedno zásadní úskalí –právo vybírat mýtné dal Žďáru až kardinál Ditrichštejn roku 1607.
5.) Stavba mohla být strážní a ochranná tvrz střežící brod přes Sázavu u komunikací směřujících ke žďárskému klášteru a na Přibyslav, v jejímž okolí se těžilo stříbro a železo. Vznik tvrze by tak bylo možné posunout až do 14. století.
6.) Podle Miroslava Plačka mohlo jít též o strážní tvrz patřící k Hamrmýlu, který však byl od této tvrze poměrně vzdálen – zhruba 700 m vzdušnou čarou. Více informací by nám mohl poskytnout pouze archeologický výzkum nejbližšího okolí stavby.
Z temnot věků se pak tvrz vynořuje až jako sídlo hejtmana panství Matouše Augustina Lejského z Rozenpachu v první čtvrtině 17. století. Zda patřila vrchnosti a Lejský jí užíval jako vrchnostenský úředník je opět otázkou, v době Hanušových dědiců o zhruba sto let dříve byla rozhodně v soukromých rukou. V roce 1625 darovalo město Lejskému tvrz v Polničce, žďárská tvrz se pak stává majetkem města. Nabízí se domněnka, že Žďár provedl s Lejským pro město výhodnou výměnu tvrzí, ovšem doklad pro to nemáme. Během let tu byly například v roce 1775 nájemní byty pro řemeslníky a v letech 1820–1878 škola. V majetku města je tvrz dodnes.
Jak tvrz vypadala v době svého vzniku, netušíme. Z období středověku se dochovaly obvodové zdi a okénko v severní stěně. To je štěrbinové, střílnového tvaru, s kamenným po obvodu okoseným ostěním. Nic z toho bohužel přesnější dataci neumožňuje. Užší obvodové zdi tvořící tři stěny východní části tvrze prozrazují, že tato část budovy byla přistavěna později, snad v 16. století (a snad zároveň s dozděním patra v západní části). Stojíte-li před vchodem do budovy, pak se jedná o poslední okenní osu po vaší pravé ruce. Západní prostora v prvním patře pak má zeslabené zdivo, což může mít dvojí důvod. Mohla tam být vložena roubená komora (jako tomu bylo v protějším Moučkově domě), nebo zde mohla být hrázděná či roubená konstrukce zdí později nahrazená kamennou. V obou případech je to doklad tepelně izolované obytné či reprezentační místnosti. V případě roubené komory bychom zde pravděpodobně nalezli i pyramidálně uspořádanou trojici okének (1, 2) v kratší stěně. Dnes se kloníme spíš k druhé variantě, která byla užita například u nedaleké hamernické tvrze v Pořežíně. Nejstarší dochovaná pozdně gotická část objektu tak patřila trojprostorové obdélné patrové stavbě se sklepem ve východní části (ve sklepě je viditelná část skály), jejíž druhé podlaží bylo v západní části roubené či hrázděné – tak ji pamatoval rychtář Hanuš. Svými rozměry se té žďárské podobaly trojprostorové tvrze v Hlinsku z předhusitského období a v Tatenicích (okres Ústí nad Orlicí) zhruba z poloviny 15. století.
Nevíme též, jak vypadalo opevnění tvrze, například zda byla nějakou formou zdi či plotu spojena s domy dnešního Havlíčkova náměstí, areálem fary či kostela; těžko ale předpokládat, že byla zcela nechráněná. V případě zdí by vstupy na dnešní Havlíčkovo náměstí a k faře uzavíraly brány (fortny). Zesílení severní stěny může souviset jak s nestabilním podložím, tak s případným napojením zdi.
Nejstarší zobrazení tvrze pochází pravděpodobně z roku 1728. Na vyobrazení má palác podobu obdélné blokové stavby s valbovou střechou a jedním viditelným komínem uprostřed, ve druhém nadzemním podlaží má dvě okna, v západní stěně není žádné. Málo oken v severní stěně by mohlo souviset s fortifikační funkcí stavby. Jakékoliv stopy po případném napojení ohradní zdi (ať už kamenné, či dřevěné, či jen vyplétaného oplocení) na vedutě také schází, stejně jako arkýř s prevétem doložený na fotografiích z přelomu 19. a 20. století. Jeho dodnes dochované krakorce nejsou středověkou památkou, ale druhotně použitými částmi pozdně renesančního či barokního okenního ostění. Buď tedy celý prevét vznikl až po roce 1728, nebo byly při některé jeho opravě staré krakorce nahrazeny novými, což se zdá pravděpodobnější. Někdy v první půli 20. století byl prevét, z nějž vedla trubka či rýna šikmo dolů směrem k západní straně budovy nad střechou ke tvrzi nalepeného domu Bradáčových čp. 274, odstraněn. Zbyly po něm jen ony dva krakorce a byl nahrazen oknem, které zaniklo při přestavbě po druhé světové válce.
Pod tvrzí máme na dobových fotografiích zachycenu kašnu, kam se sváděla voda dřevěným potrubím, ovšem nejstarší snímky ji nezachycují, proto ji nelze označit za zdroj vody pro tvrz. Máme sice dochovanou zmínku o Janovi z Tvrze, který mezi lety 1547 a 1561 koupil studu na Starém městě, ale žádný doklad, že by vybudoval potrubí.
Snad někdy v 18. století získala budova mansardovou střechu doloženou na vyobrazení z roku 1840. Z první půle 19. století jsou cihlové klenby dvou sklepů pod východní půlí tvrze, které propojuje otvor v původní východní stěně paláce. A uprostřed jeho východní stěny byl dnes již zvenčí nepostřehnutelný vchod do tohoto sklepa, na který upomíná výklenek v jeho interiéru. Na fotografii z 19. století vidět není, ovšem je na ní zachycena fasáda nejspíš z konce 18. či první půle 19. století s průčelím členěným pilastry a s částí vstupu s nadsvětlíkem; vchod do sklepa je již zazděn. Po požáru z 9. května 1945 byla tvrz přestavěna, během 20. století se dočkala ještě několika úprav.
Hamrmýl (Žďár nad Sázavou, Strojírenská ulice) – dvůr s tvrzí a hamrem založil v polovině 14. století zámožný brněnský měšťan a konšel Kuncmann (též Kuno, Konrád). Od pozdějších majitelů dvůr odkoupil klášter. Areál se stal součástí továrny Amylon, stopy po hlavní budově dvora zanikly v roce 2004.
Polnička – nová tvrz byla prameny poprvé zmíněna roku 1616. Patřila účastníkovi stavovského povstání Vavřinci Vysockému, po jehož smrti ji císař daroval žďárské obci a ta ji roku 1625 věnovala hejtmanu žďárského panství Matouši Augustinu Lejskému z Rosenpachu náhradou za útraty a škody, které za obec hradil „v čase arendním“ (placení nájmu). Stávala vedle panského dvora (snad původně hamerského) a sloužila jako sídlo hamerského úřadu. Vedle ní se připomíná ještě stará tvrz, která byla roku 1618 i s vesnicí vložena do zemských desek jakožto majetek kardinála Ditrichštejna. O její poloze lze jen spekulovat (areál panského dvora, panský mlýn). Obě tvrze dnes již nestojí.
Najdek (Hamry nad Sázavou) – tvrz na skalnatém návrší chránící blízký hamr zmínily písemné prameny poprvé roku 1526. Později se změnila v usedlost, kvůli omezenému prostoru a nesnadnému přístupu byla nakonec opuštěna a zanikla. Stejně jako šlakhamerská či hamrmýlská tvrz nebyla nikdy sídlem šlechty a na rozdíl od nich měla původně jen strážní funkci.
Šlakhamr (Hamry nad Sázavou) – k roku 1409 je připomenut nájemce hamru německobrodský rychtář Niklas Flexlin. Tvrz se v pramenech objevuje až později, byla patrně součástí hamerského dvora.
Frendl (Hamry nad Sázavou) – připomínaná se v roce 1683. Dodnes se dochovala levá polovina tvrze, pravá ustoupila výstavbě patrového uměleckého mlýna ve 2. polovině 19. století. Spolu s mlýnem mohla být součástí dvora, po němž se dochovaly obvodové zdi. Nynější Frendlovský dvůr nechal postavit až opat Václav Vejmluva na začátku 18. století.
Fiklov (Hamry nad Sázavou) – hamr je zmiňován k roku 1470, v roce 1720 je při prodeji opatu Vejmluvovi uveden jako tvrz s mlýnem.
Sázava – dodnes se na kraji obce u silnice na Velkou Losenici dochovala patrová kamenná stavba s okny s kamennými zárubněmi, vedle níž se nachází Pekelský mlýn. Samotný název připomíná hamr poprvé doložený na začátku 15. století, kdy ho spolu s tvrzí, dvorem a vsí držel jistý Sázavec ze Sázavy.
Pořežín (Velká Losenice) – tvrz Durnštejn byla součástí sousedního hamru (dnes mlýn); majitelkou byla od roku 1592 dcera hamerníka Řehoře Voršila, která uzavřela dohodu se svou matkou Maruší; tvrz stojí v mírném svahu a dochovala se i s hospodářským zázemím. Obdélná dvoupodlažní budova s mansardovou střechou skrývá původní dispozici tvrze z konce 16. století. Místnosti a schodiště jsou zaklenuty buď valenými klenbami s lunetami, nebo hřebínkovými, v patře na západní straně se nachází velká místnost s trámovým stropem. Přízemí i patro má ze síně přístupnou černou kuchyni. Původní vrata byla dubová s dubovou závorou. V pramenech byla poprvé zmíněna roku 1534.
Vojnův Městec – zaniklá tvrz v městečku patřícímu žďárskému klášteru, v roce 1457 tvrz získal Mikuláš z Buchova, jehož syn Zbyněk prodal zboží Janu Bočkovi z Kunštátu, od nějž ji roku 1499 koupil opět žďárský klášter, tvrz přitom byla uvedena jako pustá.
Radešín – dvůr byl původně klášterní grangií, tvrz při něm vznikla snad v 15. století. Radešín byl lénem žďárského kláštera, v 15. a 16. století se po něm psalo několik osob. Tvrz renesančně přestavěl Samuel Radešínský z Radešovic, který získal roku 1597 Radešín od kláštera do dědičného vlastnictví a od něj zboží koupil kardinál Ditrichštejn, od jehož dědice Maxmiliána ho získal opět žďárský klášter. Opat Václav Vejmluva tvrz v prvním desetiletí 18. století přestavěl na barokní zámek.
Hradisko (též Kozlov, Štěpánov nad Svratkou) – žďárské klášterní manství. Pustou svobodnou tvrz s dvorem Kozlov svěřil žďárský klášter roku 1486 Janu z Kladné a Olešinky, roku 1494 klášter postoupil Kozlov s pustou tvrzí Janu z Lomnice. Kozlov přitom tvoří dva opevněné objekty v různých výškových polohách, která patrně byly jedním sídlem označovaným dnes i jako hrad (Plaček 2001).
Nové Veselí – tvrz jako šlechtické sídlo je poprvé zmíněna roku 1447, roku 1564 ji Alena Meziříčská z Lomnice přebudovala na zámek.
Ostrov nad Oslavou – zaniklá šlechtická tvrz údajně postavená za Jakuba Michka z Radostína a na Ostrově ve druhé polovině 16. století; archeologické nálezy ovšem připouštějí její dřívější vznik. Po tvrzi se psal rod Vídeňských z Českého Ostrova.
Kněževes nad Oslavou – šlechtická tvrz doložená v 15. století, přestavěná na rychtu.
Bohdalov – Pelfrýd, tvrz s vodním opevněním postavena snad pány z Ronova koncem 14. století, opuštěná patrně po smrti Smila z Ronova v první půli 15. století. Zřícenina byla v 19. století rozebrána.
Rudolec – šlechtická tvrz přestavěná ve 2. polovině 15. století na renesanční zámek.
Herálec – stály zde minimálně dvě tvrze a je těžké odlišit, ke které se vážou jednotlivé zprávy. Starší byla patrně na počátku 14. století založena řádem německých rytířů. Současný zámek vznikl přestavbami jedné z nich.