El Museo del Ejército tiene sus antecedentes en el Real Museo Militar, creado por Real Orden de 29 de marzo de 1803, en respuesta al interés, manifestado en España y otros países europeos en el ámbito de la Ilustración, por la fundación de instituciones que conservaran y difundieran objetos relacionados con la historia militar.
La guerra de la independencia tuvo nefastas consecuencias para el museo, reiniciando su andadura en 1814. Durante el reinado de Fernando VII, por Real Orden de 8 de marzo de 1816, se autoriza su traslado al Palacio de Buenavista, que continuó siendo su sede aun cuando, en 1827, el Real Museo Militar se dividió en dos museos independientes: el de Artillería y el de Ingenieros.
Durante el reinado de Isabel II, el Regente General Espartero eligió el Palacio de Buenavista como residencia oficial y como consecuencia, por Decreto de 19 de julio de 1841, se decidió el traslado del Museo de Artillería al Palacio del Buen Retiro, del que se conservaba el Salón de Reinos y donde quedó finalmente ubicado.
El Palacio del Buen Retiro fue objeto de numerosas reformas estructurales con vistas a su nueva función, procediéndose progresivamente a remodelar el Salón de Reinos, a acondicionar la planta baja para instalar la colección de Artillería y a desalojar paulatinamente a los ocupantes de las distintas dependencias hasta quedar el edificio para uso exclusivo del Museo de Artillería en el año 1871.
En esta época se forman otros museos militares, como el de Intendencia, el de Caballería o el de Infantería, que también sufren diferentes vicisitudes en cuanto a su ubicación, a excepción de este último, que siempre tuvo su sede en el Alcázar de Toledo. Esta dispersión planteó la necesidad de crear un Museo del Ejército que aglutinara los museos militares correspondientes a las distintas Armas y Cuerpos y finalmente, durante la Segunda República, se crea por Decreto de 16 de diciembre de 1932 el llamado Museo Histórico Militar; al que se le asignó como sede el Palacio del Buen Retiro, que hasta entonces lo era del Museo de Artillería. Quedó constituido por secciones de las cuatro Armas: Infantería, Caballería, Artillería e Ingenieros, y de los Cuerpos de Intendencia y Sanidad.
Tras la guerra civil, se dispone por Orden de 30 de diciembre de 1940 que el Museo Histórico Militar pase a denominarse Museo del Ejército, manteniendo como sede el Palacio del Buen Retiro.
En 1965, la Jefatura del Estado crea, por Decreto 335/1965 de 5 de febrero, un Patronato del Museo del Ejército con la misión de organizar y llevar a cabo un proyectado traslado del Museo del Ejército al Alcázar de Toledo. Sin embargo, a finales de 1969, la falta de medios económicos para acabar la habilitación del histórico edificio aplaza el traslado sine die, decidiéndose la instalación de diversas salas de exposición permanente en el Alcázar. Así, el 9 de febrero de 1979 se crea en el Alcázar reconstruido la Sección Delegada del Museo del Ejército en Toledo.
El 24 de julio de 1996 se decidió finalmente autorizar su traslado fijando la nueva sede del Museo del Ejército en el Alcázar de Toledo. El Museo del Ejército de Madrid cerró sus puertas al público el 30 de junio de 2005 y, a principios de 2008 inicia su traslado al Alcázar de Toledo, dándolo por finalizado el 30 de junio de 2009. Se inaugura oficialmente el 18 de junio de 2010 en su nueva sede, regulando su funcionamiento y estructura orgánica básica el Real Decreto 636/2010, de 14 de mayo.
