En 1940 se creó, por Decreto de 12 de julio, la Comandancia General de la Base Naval de Las Palmas, hecho que dio lugar a la andadura de este Archivo. Es el sucesor orgánico del Archivo General de la Zona Marítima de Canarias, cuya denominación fue modificada una vez que se dispuso la supresión de las Zonas Marítimas
Su primer espacio físico estuvo en las dependencias del Arsenal de Las Palmas de Gran Canaria. Posteriormente, se trasladó a un inmueble en régimen de alquiler en la calle Grau Bassas de dicha capital. Sin embargo, problemas de espacio hicieron necesaria la búsqueda de un nuevo edificio. La solución llegó en 1997, cuando el antiguo Cuartel de Sanidad y Farmacia Militar, propiedad del Ejército de Tierra, sufrió un cambio de adscripción a favor de la Armada, pasando a llamarse Archivo General de la Zona Marítima de Canarias.
Hasta la supresión de las Zonas Marítimas, el Archivo dependió orgánicamente del Almirante Jefe de la Zona Marítima y, a partir de entonces, y ya con su actual denominación, pasó a depender del Almirante Jefe del Mando Naval de Canarias.
Desde el año 2006, tras la reorganización de la estructura del Cuartel General de la Armada, el Archivo ha quedado integrado orgánica y funcionalmente en el Órgano de Historia y Cultura Naval y directamente subordinado a la Dirección del Subsistema Archivístico de la Armada.
