El Archivo Naval de Cartagena tuvo su origen en la documentación producida por la antigua Contaduría de Galeras que, al trasladarse en 1668 desde el Puerto de Santa María a este nuevo apostadero, trajo consigo los Libros de Registro de forzados y esclavos, iniciados en 1624.
En 1726 se creó el Departamento Marítimo de Cartagena, que abarcaba geográficamente la costa oriental de la Península desde el Cabo de Gata hasta la frontera con Francia, el archipiélago balear y las plazas norteafricanas de Orán y Mazalquivir, llamado más tarde Zona Marítima del Mediterráneo. Desde su creación, los organismos administrativos han remitido su documentación al Archivo Naval de Cartagena que custodia, además, la documentación de buques y submarinos con base en el Arsenal.
El primer depósito que tuvo se encontraba en el edificio que ocupaba la Intendencia de Marina, en la calle Mayor de la ciudad, más tarde sede de la Capitanía General. En 1853, se trasladó la citada Intendencia con su Archivo al antiguo edificio Cuartel de Guardiamarinas en la Muralla del Mar. Poco tiempo después sus fondos documentales pasaron al Arsenal, habilitándose uno de los once almacenes que conforman las antiguas naves de desarmo del Muelle de Levante donde había un espacio convertido en sala de esgrima desde que en 1777 se instaló la Academia y Compañía de Guardias Marinas, deporte de práctica obligada para sus alumnos. En 1919 se produjo una inundación y en los años 20 un pequeño incendio, catástrofes que provocaron la desaparición de buena parte de la documentación relativa al primer tercio del siglo XX. Los fondos permanecieron en el mismo lugar hasta que con la inauguración de la Sección Histórica del Archivo en 1982, se trasladó la documentación considerada de mayor interés histórico, a un edificio en la calle del Aire con el objeto de facilitar su acceso a los investigadores. Ya en 1990 se habilitó el actual edificio, comenzando el traslado definitivo de la documentación en el año 2005.
Es de señalar que desde el archivo del Departamento de Cartagena se hicieron dos envíos al Archivo General de la Marina en 1954 y 1955, que supusieron un total de 2.142 legajos. Casi toda esta documentación correspondía al siglo XIX y hoy puede consultarse en dicho Archivo General, situado en Viso del Marqués (Ciudad Real).