Сматра се да је Музеј града Београда основан 5. октобар 1903. када је у регистру Општине града Београда забележена одлука, коју је потписао Коста D. Главинић, о смештају општинског музеја у Народни музеј, у једну посебну собу на чијим је вратима номиновано: Општински музеј. У децембру 2006. Скупштина града Београда доделила је Музеју града Београда зграду Нове војне академије, саграђену 1899. године, у Ресавској улици број 40. Пројекат реконструкције и уређења зграде где је планирано да се по завршетку радова усели Музеј града Београда, реализовао је архитекта проф. Горан Војводић.
Од 2015 године, у Музеју града Београда се одржава концертна сезона под називом Музички сводови Београда која је покренута на иницијативу организације Културни елемент. У оквиру сезоне је одржан низ концерата, представа и перформанса у разним објектима Музеја града. Ти програми су убрајани међу најпосећеније програме Музеја града Београда.