U budovy Galerie Slováckého muzea se nachází jeden ze tří dochovaných pozůstatků vnitřní hradební zdi. Město bylo již od prvopočátku opevněné, nejstarší hradby byly dřevěné, tzv. palisády. První zmínka o budování zděného opevnění pochází z roku 1315. Hradbu tvořila zeď z přitesaných pískovcových kamenů spojovaných maltou s předsunutým příkopem, do něhož vystupovalo 7 věží. Přístup do města umožňovaly dvě hlavní brány zesílené kruhovou baštou, k nim později přibyla menší, úniková branka.