A várat a XIV. sz. második felében I. Anjou Lajos magyar király gótikus vadászkastélynak építtette, az olasz városi nemesi paloták architektúrájának mintájára. A XVI. században, reneszánsz stílusban átépítették. A földszinten a gótikus művészeti, az emeleten a XVI.- XVIII. századi európai művészeti kiállítás van, a Szlovák Nemzeti Galéria gyűjteményéből. A legfigyelemreméltóbb munkák P.P. Rubens, P. Veronese, V. Hogarth és mások alkotásai. Minden évben megrendezik a hagyományőrző zólyomi várjátékokat.

Zólyom, Vetusolium, Altsohl, egy régi város; a Garam vizénél fekszik. Szabad királyi bányaváros és derék helység. Lakosai majd mindnyájan tótok, kevesebben németek. A város déli részében egy hegyecskén a vár fekszik, melyben Mátyás király gyakran mulatott, és azért nagy épületeket is emeltetett benne, amelyeknek helyét most egy újabb kastély foglalja, melyet a várral együtt az. Esterházy família bír. Ebben a várban tartotta Bethlen Gábor fejedelem a magyar koronát, minekutána azt a pozsonyi vár megvétele után kezére nyerte. Zólyom még arról nevezetes, hogy itt I. Lajos király 1378-ban egy lengyel országgyűlést tartott, amelyben leányát, Hedvigist, kit a lengyel Jagelló Ulászló vett feleségül, Lengyelországban a maga követőjének és királynénak nevezte.
A város neves szülötte Balassi Bálint  , emlékét tábla jelöli a várban.

Zólyom városa 2003-ban emlékezett meg a megalapítás 760. évfordulójáról. Első hiteles dokumentum a szabad királyi Zólyom városáról a IV. Béla által kiadott királyi okirat 1243. december 28.-ból származik, amely városi jogokkal illeti Zólyomot.

Írott okmányok a város (település) egzisztenciájáról már 1243 előtt is léteztek – 1222-ben emlegetik Detrik zólyomi főispánját, Anonymus krónikás a 12. a 13. század fordulóján a Zólyomi várkastély létezését a 10. századba helyezi.

1359 óta már Szlovákia öt kiválasztott városai közé tartozott, amelynek királyi felhatalmazása volt a minden évben megrendezésre kerülő piac megnyitására (vásár, amely két hétig tartott!), és a következő századokban még további vásárokkal bővült.

Zólyom hosszú ideig az Ózólyom, ma Pusztavárként ismert, védettsége alatt állt. A királyi komminátus székhelye volt, amelynek területe a mai közép-Szlovákia tekinthető. Fontos kereskedelmi úton helyezkedett el – ami az ún. Magna via volt. Régészek a területén akár több mmint ötezer éves tárgyakat találtak. 1992-től a város saját költségvetéséből támogatja a régészeti kutatásokat. A 7,6 hektárnyi területen elhelyezkedő Pusztavár a Közép – Európa egyik legterjedelmesebb vára. Jelentösége e várnak, a Zólyomi várkastély felépítése után közvetlenül a városban (1370 – 1382), enyhén csökkent. Végül 1452-ben a Pusztavárat Hunyadi János hadserege felgyújtotta (a legújabb kutatások szerint) és azóta is romokban áll.
A Zólyomi várkastélyt 14. század második felében I. Nagy Lajos építtette a város déli részében. A felépítés óta számtalan átalakításon és számtalan tulajdonos kezén ment keresztül. Nagy szeretettel járt ide Korvin Mátyás Beatrix feleségével, a Brandýsi Ján Jiskra szállása volt avagy Thurzó János tulajdona.

A legkegyetlenebb korszakot Zólyom számára a 16. század jelentette. Az magyar nemzet vergődött a trónért, ellen kellett állnia a Török és Tatár támadásainak. A 16. század 80-as évei meghozták Zólyom területére a járványokat. A következő sorscsapás 1601-ben ütött le a városra. Az óriási tűzvész elpusztította a templomot, iskolát, árvaházat és az emberek házait. Az újraépítésre a városnak sok pénzre volt szüksége, ezért megkérték az uralkodót, hogy törölje el az adókat. A pusztító tűzvész 1708-ban újra elérte Zólyomot.

A Szlovák nemzeti megújhodás évei (1848-1849) is rányomták bélyegét Zólyomra. A várossal szorosan összefügg a híres nemzeti felkelő, egyik fő megalapítója a szlovák nemzeti nyelvnek és a szlovák nemzet emancipációs törekvések úttörője neve – Ľudovít Štúr. Igaz, nem zólyomi származású, nem is élt Zólyomban, viszont 1857-ben a zólyomi várostanácshoz fordult azon kéréssel, hogy indulhasson a magyar országgyűlés választásán épp e város kandidátusaként.

Az országgyűlésen 1847 és 1848 között ötször lépett fel, ahol a szlovák nemzet függetlenségét pártolta, a szlovák nemzeti nyelv elismerését, a jobbágyság megszüntetését, polgári egyenlőséget és a szlovák nemzet összes többi kívánságát.

1871-ben vasútállomást építettek Zólyomban és egy évvel később befejezték a Magyar északi vasútvonalának építését (Pest- Zólyom – Vrútky). Ez a város további fejlődését jelentette, akár az UNION pléhgyár felépítése is. Zólyomban felépült a takarékpénztár, bank, nyomda. A 20. század elején megnő a mmunkásosztály és az I. világháború után 1918. október 28 következik és ezzel az állam megalapítása – Csehszlovák köztársaság. A fiatal köztársaságnak különböző problémákkal kellett megbírkóznia. Már 1919 nyarán a Magyar köztársaság hadserege megtámadta, és júniusban Zólyomot is elfoglalta.

A II. világháború tragédiája sem kerülte el Zólyomot. A felszabadulás után, 1945-ben, Zólyomban megkezdődött a háború által elpusztított vagyon újraépítése, ugyanúgy az addig létezett és új gyárak üzemeltetése. A város északkeleti részében megnyitották a Bučina fakombinátot, a Garam közelében viszont a korszak egyik megmodernebb Szlovákia tejgyárát. Továbbá építve lettek textilgyárak, új vasútállomás, iskolák, kollégiumok, új lakóházat. Új utakat és utcákat építtetett a város, járdákat, csoportos vízvezetékeket, csatornahálózatokat és folytak a munkállatok a város villamosításában is.

Jelenleg Zólyom székhelye néhány jól működő vállalatnak, minőséges általános- és középiskoláknak és a Műszaki egyetemnek, ahol faipari szakembereket képeznek, egyetlen ilyen oktatással bíró egyetemről van szó. Egyetlen olyan specializációja, amely sehol máshol nem található Szlovákiában a Zenehangszerek.

A kultúrát a J. G. Tajovský Színház képviseli, amelynek állandó színpadja van Zólyomban, továbbá tánc-, színi-, ének- és zeneegyesületek tizei, amelyek továbbadják a Zólyom városának nevét Szlovákiában és külföldön is.

A vár udvara szabadon és ingyenesen látogatható a kiállításokra jegyet kell vásárolni.

Érdekes és nagyon kedves gesztus volt, hogy a város sétáló utcájában a főtéren a túristák részére ingyenesen ásvány vizet osztottak a nagy melegben.