Društvo hrvatskih književnika na svojoj je 5. redovnoj glavnoj skupštini održanoj 29. ožujka 1903. donijelo važan prijedlog o osnivanju pučkih knjižnica po selima i gradovima. Godine 1907. Družba Braće Hrvatskoga Zmaja - Emilij Laszowski, Velimir Deželić i Stjepan Širola - želeći spasiti Kamenita vrata, kojima je u okviru tadašnjih urbanističkih planova i vizija prijetilo rušenje, predlaže Gradskom poglavarstvu da se u kuli iznad tih srednjovjekovnih gradskih vrata smjesti Gradska knjižnica, kao prva javna knjižnica u gradu Zagrebu. Zamisao o utemeljenju Gradske knjižnice već je otprije postojala, poglavarstvo je 1905. i 1906. izdvojilo po 5000 kruna za uređenje Gradske pučke knjižnice i gradskog muzeja, ali je mogućnost odluke o rušenju Kamenitih vrata ubrzala inicijativu Družbe. Gradsko poglavarstvo na čelu s gradonačelnikom Milanom Amrušem prihvatilo je tu ideju i 10. travnja 1907. Kamenita vrata su predana Družbi na upotrebu. Zaključkom Gradskog poglavarstva od 11. svibnja 1907. osnovani su Knjižnica slobodnoga i kraljevskoga glavnoga grada (danas je to Gradska knjižnica, središnja knjižnica mreže Knjižnica grada Zagreba) i Muzej slobodnoga i kraljevskog glavnoga grada Zagreba (danas Muzej grada Zagreba) u čijem je sastavu bio i arhiv (danas Državni arhiv u Zagrebu). Briga oko uređivanja arhiva i muzeja bila je povjerena Emiliju Laszowskom, dok je brigu oko osnivanja, organizacije i vođenja Knjižnice slobodnog kraljevskog glavnog grada preuzeo Velimir Deželić, pristav Kraljevske sveučilišne knjižnice u Zagrebu, koji je sastavio i prva Pravila knjižnice.

Knjižnica je dobila prostor na drugoj etaži Kule nad Kamenitim vratima. Prvi je ravnatelj Gradske knjižnice bio dr. Velimir Deželić, a mladi knjižničari-volonteri Božidar Širola i maturant Velimir Deželić, sin ravnatelja Velimira Deželića, odabirali su, popisivali i katalogizirali prikupljene knjige. Od velikog broja rukopisa i knjiga koje je predalo Gradsko poglavarstvo, ali i brojni građani Zagreba, te od donacija samih članova Družbe, odabrano je preko 10.000 knjiga. Uređena je i čitaonica za koju su nabavljeni stolovi i stolice i drugi potreban namještaj.
7. prosinca 1907. godine u kuli iznad Kamenitih vrata svečano je otvorena Gradska knjižnica zajedno s Muzejom grada Zagreba i gradskim arhivom. Na svečanosti otvaranja ravnatelj Velimir Deželić održao je predavanje “O evoluciji modernih i slobodnih javnih knjižnica”, a nakon toga je gradonačelnik Milan Amruš otvorio knjižnicu završivši govor riječima: “Kao što su naši pređi podigli ovu kulu za svoju obranu, tako ju je gradsko poglavarstvo sada namijenilo napretku i prosvjeti te smjestilo u nju Gradsku knjižnicu, arhiv i muzej. Ovakve korisne institucije služiti će napretku i prosvjeti našeg naroda! Proglašavam vesela srca ovu knjižnicu otvorenom.” O tom, za grad značajnom događaju, izvješćuju i zapisnici gradske skupštine.

Do studenoga 1908. godine kada ravnatelj knjižnice postaje Emilij Laszowski, knjižnica je prikupila oko 14.000 knjiga, a posjetilo ju je 45.000 posjetitelja. U čitaonici knjižnice, koja je bila otvorena od 17 do 20 sati, od samoga su početka održavana poučna, stručna i znanstvena predavanja, kao i glazbene priredbe.

Prostor u kuli nad Kamenitim vratima ubrzo se pokazao premalenim za daljnji razvoj knjižnice, pa je već 1908., kad se prema planovima Viktora Kovačića počela planirati (nikad realizirana) regulacija Kaptola i Dolca, Deželić predložio da se restaurira stara kuća Jurja Plemića, kasnije vlasništvo grofova Patačić, i da se u nju preseli Gradska knjižnica. Iako su pregovori trajali do 1924. godine zamisao nije prihvaćena i 1925. godine, kad je donesena odluka o izgradnji tržnice na Dolcu, ta je palača srušena. Deželić i Laszowski pokušali su 1930. godine, spašavajući od rušenja zgradu Zakladne bolnice milosrdne braće na početku Ilice, u nju smjestiti Gradsku knjižnicu. No ni taj pokušaj nije uspio, jer je Gradsko poglavarstvo smatralo da u središtu grada nije dopušteno smjestiti neprivrednu ustanovu.

Odlukom Gradskog vijeća od 20. studenoga 1935. godine grad preuzima brigu o Gradskoj knjižnici kako bi je reorganizirao i uredio te osigurao stručno osoblje i sredstva za rad. Godine 1937. Gradska knjižnica dobiva novi privremeni smještaj u prostorijama Novinarskog doma, gdje ostaje do 1995. godine kad je preseljena na sadašnju lokaciju u Starčevićev dom.

Problem prostora zagrebačke Gradske knjižnice ni do danas nije riješen.