Par bibliotēkas dibināšanas datumu uzskata 1927.gada 15. oktobri, kad uz 1924.gadā dibinātās mūzikas studijas pamata tika dibināta Latvijas Tautas konservatorija, ko 1929. gada septembrī pārdēvēja par Rīgas Tautas konservatoriju, bet 1941. gada 16. maijā - par Rīgas Valsts mūzikas vidusskolu. Jāzepa Mediņa( 1877-1947) vārds piešķirts 1947. gadā. No 1991.līdz 2002. gada martam darbojās kā koledža.
Bibliotēkas krājums veidots no tautas konservatorijas pastāvēšanas pirmajām dienām.

Darbību koordinē programma 2008. - 2013. gadam, kas paredz attīstību, nodrošinot izglītības procesa pilnveidi, kvalitāti, konkurētspēju. Kā mūzikas vidusskolas struktūrvienība bibliotēka nodrošina izglītības iestādes darbību visās jomās : izglītības programmu apgūšanu, sagatavošanu studijām augstskolā, profesionālās pieredzes izaugsmi un koncertdarbību.
Bibliotēka orientējas uz kvalitatīvu un mūsdienīgu informācijas pakalpojumu sniegšanu un izglītības papildināšanas iespējām mūža garumā. Bibliotēka ir datorizēta un 2002. gadā pieslēgta internetam.