A Balassagyarmati Dalegylet fennállása 100. évfordulóján 1963-ban kezdte meg működését zeneiskolánk 8 tanárral és 114 növendékkel, a Salgótarjáni Állami Zeneiskola fiókintézményeként a Mikszáth Kálmán Kultúrház Óváros téri épületének négy tantermében. 1966-ban önállóvá váltunk, igazgató 1983-ig Réti Zoltán, majd az 1983/84-es tanévtől 2017-ig Ember Csaba, jelenleg Csábi István.
1967-ben a zeneiskola új épületbe költözött (Deák Ferenc u. 6.), ez az épület azonban az 1977-ben épített udvari faházzal kibővülve is hamarosan kicsinek bizonyult. 1982-ben kerültünk jelenlegi helyünkre, az átalakított kultúrház Óváros téri épületébe.
1973-ban zeneiskolánk hivatalosan is felvette Rózsavölgyi Márk - a Balassagyarmaton született zeneszerző - nevét, halálának 125. évfordulóján.
A 18 zenei tanszakon folyó oktatás mellett 1992-től rajz-képzőművészet, 1994-től dráma, 2002-től moderntánc, 2003-tól néptánc és népzene tanszakon is lehetőség nyílik a tanulásra.
Kihelyezett tagozataink:
1972-1973-ig, majd 1974-től 1980-ig Cserhátsurány
1972-1973-ig, majd 1974-től folyamatosan Érsekvadkert
1976-tól Rétság
1976-tól Szécsény (1991-2003-ig önálló zeneiskola)
1980-tól Magyarnándor
1990-től Romhány
1992-tól 2018-ig Diósjenő
1994-től 2011-ig Patak
1995-től 2011-ig Drégelypalánk
1997-től Nógrád
2001-től Szügy
2003-tól Szécsény (Tagintézmény)
2006-2018-ig Pásztó (Rajeczky Benjámin Tagintézmény)
2007-től Bercel
2007-től Nézsa
2007-2011-ig Nógrádsáp
2020-tól Varsány
Az elmúlt, több mint öt évtized alatt több száz tanár tanított iskolánkban több ezer növendéket a zene szeretetére és a hangszeren való játék fortélyainak elsajátítására, akik közül százan választották hivatásul a zenei pályát. Iskolánk 1987-től folyamatosan szervezi és otthont ad a "Zene határok nélkül" Nemzetközi Muzsikustábornak mely két éve művészeti fesztivállá fejlődött, egyre több külföldi érdeklődő részvételével. Három éves ciklusokban rendezzük meg az Országos Zeneiskolai Négykezes és Kétzongorás Versenyt, az Országos Zeneiskolai Fuvoladuó és Kisegyüttes Versenyt, valamint a Nemzetközi Fuvoladuó és Kisegyüttes Versenyt.
A nagyszámú állami kitüntetéssel elismert tanáraink évtizedeken keresztül szervezői, lebonyolítói voltak az "Élő zenét a falusi iskoláknak" c. zenei ismeretterjesztő sorozatoknak, és mind a mai napig rendszeres közreműködői városi, megyei rendezvényeknek, ünnepségeknek, jótékonysági hangversenyeknek.
Az iskola fennállása óta folyamatosan működött ifjúsági vonószenekar, kisebb- nagyobb megszakításokkal ifjúsági fúvószenekar, 1971-től felnőtt fúvószenekar, valamint országos és külföldi sikereket elért több, tanárokból szerveződött kamaraegyüttes. Jelenleg a J.S.Bach együttes utódjaként alakult Balassagyarmati Kamaraegyüttes és a Balassagyarmati Rézfúvós Kvintett mondhat magáénak számos hazai és külföldi elismerést.
Iskolánk testvériskolai kapcsolatot ápol a dunavarsányi Erkel Ferenc Alapfokú Művészeti Iskolával, a felvidéki Ipolybalogi Művészeti Alapiskolával, a Bajai Liszt Ferenc Alapfokú Művészeti Iskolával továbbá szoros kapcsolatot tart fenn a szintén felvidéki Ipolysági Művészeti Alapiskolával, és egykori tagintézményünkkel, a pásztói Rajeczky Benjámin Alapfokú Művészeti Iskolával.