La creación del Archivo del Museo Naval no se produjo mediante una disposición normativa o reglamentaria concreta. Nace en los años treinta del s. XX al ingresar los fondos procedentes de la Dirección de Trabajos Hidrográficos, institución receptora de los documentación generada por las numerosas expediciones científicas realizadas por la Armada en los s. XVIII y XIX.
Este organismo también fue depositario de las compilaciones realizadas por los oficiales de la Armada Martín Fernández de Navarrete, Juan Sanz de Barutell y José de Vargas Ponce que, a fines del s. XVIII, fueron comisionados en los archivos públicos y particulares del Reino para copiar la documentación sobre la Marina y así realizar la historia marítima española.
A partir de los años 50 se acopian importantes series documentales, procedentes en su mayoría de los archivos de los antiguos Departamentos Marítimos, destacando los planos de buques de guerra y los expedientes de ingreso en las Reales Compañías de Guardias Marinas de Cádiz, Ferrol y Cartagena. Posteriormente ingresaron diversos fondos documentales donados por particulares, herederos de destacados oficiales de la Marina que desempeñaron diversos cargos en la Armada durante los siglos XVIII al XX conservando en su poder la documentación oficial generada en sus destinos.
En el año 1998, por el Real Decreto 2598/1998, de 4 de diciembre, por el que se aprobó el Reglamento de Archivos Militares, se le confirió el carácter de archivo nacional.