Srpski knez Milan Obrenović izdao je 10. avgusta 1878. godine ukaz o ustrojstvu Vojnog muzeja radi prikupljanja i čuvanja trofeja iz ratne istorije.
Muzej je smješten u prepravljenu džamiju na platou Gornjeg grada Beogradske tvrđave na Kalemegdanu. Ondašnja štampa je pisala da je Vojni muzej ponos Beograda, da su njegove istorijske zbirke pobudile veliko interesovanje u narodu i da je tako uređen da može poslužiti kao primjer.
Zgrada ovog muzeja porušena je u Prvom svjetskom ratu, a evakuisane zbirke dobrim dijelom su stradale ili su zaplenjene. Prošlo je više od dvije decenije do otvaranja nove postavke.
Kralj Aleksandar Karađorđević izdao je 1934. Uredbu o obrazovanju Vojnog muzeja u Kraljevini Jugoslaviji. Brigadni đeneral Vojislav Vuković, dotadašnji upravnik Kraljevog dvora, postavljen je za upravnika Muzeja.
Otpočela je sistematska akcija prikupljanja predmeta, kojoj su se odazvali brojni darodavci, učesnici ratova i njihovi potomci, čija su imena upisivana u "Zlatnu knjigu" koja je sačuvana u Vojnom muzeju, a djelo je ruskog umjetnika Vsevoloda Guljeviča.
Nova postavka je otvorena 1937. godine u dvije zgrade, od kojih je jedna današnji Zavod za zaštitu spomenika kulture grada. Tokom Drugog svjetskog rata muzejske zbirke pretrpjele su nova oštećenja. Međutim, u skladu sa programom okupacionih vlasti, neke kulturne institucije, među kojima i Vojni muzej, nastavile su rad i za vrijeme okupacije.
Prikupljanje predmeta i njihova zaštita u okupiranom gradu bili su glavna briga muzejskih radnika. Savezničko bombardovanje grada 1944. godine donijelo je nova stradanja muzejskih zbirki i zgrada muzeja.
U novim uslovima, poslije Drugog svjetskog rata, pristupilo se prikupljanju predmeta, naročito iz minulog rata, utvrđivanju ratne štete, ali i prilagođavanju muzejske postavke novoj ideologiji.
Osjetno je povećan muzejski fond, naročito predmetima iz rata i "revolucije", a Vojni muzej je postao veoma važna institucija nove države.