På Skolegade ligger den gamle kommuneskole, som i dag er den del af Skanderborg Kommune.

Mange af de gamle huse og gårde stammer fra midten af 1700-tallet og 100 år frem. Langs gadens østside ligger der en del store købmandsgårde, mens gadens vestside domineres af minder huse. Bindingsværksgården i nr. 15, har årstallet 1738 på portoverliggeren. Flere af gadens bygninger inderholder rester fra det nedrevne Skanderborg Slot. Gadens mindste hus, nr. 22, er fra omkring 1750 og nr. 24 var indtil 1819 byskole og derefter fattighus for kvinder. Borgergade 27 er muligvis gadens ældste hus.

Den nuværende politistation er opført i 1860 og var tidligere rådhus.  Ved et kig mod syd, til Adelgades sving, ses en smuk nuklassicistisk bygning. Den er opført i 1804 af bygmester Svane Quist fra Horsens og var først privat bolig, siden amtsgård og derefter retsbygning m.v. Porten har dekorationer, der viser Lovens Bog, Sejrens Palmer, Retfærdighedens Sværd og Berømmelsens Laurbær.

På Adelgade ses præstegården fra 1740. Skanderborg Museum husede tidligere byfogedgården og dommergården.

Skanderborg Slotskirke er den sidste rest af Frederik II’s renæssanceslot fra ca. 1570. I dag står kirken med et enestående kirkerum, hvor det kongelige renæssanceinventar på fornem vis er indsat i en nyklassicistisk ramme med halvvaser, trofæer og medaljoner. Den vellykkede kombination skyldes Horsens-billedhuggeren Jens Hiernøe, som i tiden 1799-1801 gennemførte en omfattende renovering og nyindretning. Prædikestolen og stolestadernes gavlstykker, som endnu findes i kirken, er de ældste bevarede af deres art fra danske slotskapeller.