El Archivo nació con el propio Instituto y Observatorio de la Armada, como lugar donde depositar los originales de los trabajos científicos desarrollados por éste. El Real Observatorio fue fundado en 1753, con carácter de centro de investigación vinculado a la Academia de Guardias Marinas de Cádiz, de la que se separaría, primero físicamente en 1798, y luego también administrativamente, en 1804, al ser nombrado su primer director.
El Reglamento de Archivos Militares (Real Decreto 2598/1998), estableció que el Real Instituto y Observatorio de la Armada, dadas sus especiales características como centro científico, debía contar con un archivo en el que se reuniesen las etapas de archivo central, intermedio e histórico con el fin de custodiar la documentación administrativa y científica generada en este centro a lo largo de su historia.
A pesar de que el Real Observatorio envió en su día parte de su documentación de carácter histórico al Archivo Central del Ministerio de Marina, que hoy puede ser consultada en la Sección Real Observatorio de la Armada, en el Archivo General de la Marina Álvaro de Bazán (Viso del Marqués, Ciudad Real), sin embargo ha conservado en sus dependencias un importante volumen de documentación científica y administrativa de gran interés. En 1972, se procedió a clasificar y ordenar un primer conjunto de documentos localizados en el Almacén General del Observatorio, pudiendo considerarse tal fecha como la de creación de un archivo al servicio de la investigación. Un posterior hallazgo de documentación, en 1984, incrementó los fondos en el volumen que actualmente está a disposición de los investigadores.
