La creación del Archivo del Museo Naval no se produjo mediante una disposición concreta, si bien el Real Decreto de organización del Museo Naval de 25 de septiembre de 1856 posibilitó el ingreso de fondos documentales al disponer que se reunieran en la Biblioteca del Museo los libros, manuscritos, cartas y planos que existían en el Ministerio de Marina, en el Depósito Hidrográfico, en el Observatorio Astronómico de San Fernando y en los demás establecimientos marítimos.
La década de los años treinta del s. XX fue decisiva en la formación y crecimiento del archivo, al ingresar en el Museo Naval los fondos procedentes de la Dirección de Trabajos Hidrográficos, receptora de la documentación de numerosas expediciones científicas realizadas por la Armada en los s. XVIII y XIX y también depositaria de las compilaciones realizadas por los oficiales de la Armada Martín Fernández de Navarrete, Juan Sanz de Barutell y José de Vargas Ponce que, a fines del s. XVIII, fueron comisionados en los archivos públicos y particulares del Reino para copiar la documentación sobre la Marina y así realizar la historia marítima española.
A partir de esos años se transfieren importantes series documentales, procedentes en su mayoría de los archivos de los antiguos Departamentos Marítimos, con el fin de fomentar su estudio en el Museo.
En 1930 se creó la Sección de Cartografía y a lo largo de todo el siglo XX empezaron a ingresar numerosos fondos documentales y colecciones de carácter privado o personal, la mayor parte de ellas donadas por los herederos de destacados oficiales de la Marina, que desempeñaron diversos cargos y comisiones en la Armada durante los siglos XVIII al XX, y que conservaron en su poder la documentación oficial generada en sus destinos.
En el año 1998, por el Real Decreto 2598/1998, de 4 de diciembre, por el que se aprobó el Reglamento de Archivos Militares, se le confirió el carácter de archivo nacional.