Un Real Decreto firmado por la reina María Cristina el 22 de junio de 1898 hizo posible la creación en Segovia del Archivo General Militar, en la actualidad el más antiguo de las Fuerzas Armadas.
El Archivo, según la Orden de creación debía recoger la documentación militar de importancia histórica que se encontraba depositada en los archivos de Alcalá de Henares, Aranjuez, Guadalajara y Segovia, y los documentos de la Administración de Guerra que merecieran conservarse y no fuesen de frecuente uso y consulta.
Con este fin fue llegando al Alcázar la documentación de las Armas de Caballería, Infantería e Ingenieros y los expedientes del Consejo Supremo de Guerra y Marina, que se unieron al archivo del Arma de Artillería que ya se encontraba en Segovia. Los primeros trabajos en el Archivo fueron los de recepción y clasificación de los documentos remitidos desde todos los puntos del territorio español, de acuerdo con los criterios fijados en el “Reglamento Provisional para el Régimen y Servicio de los Archivos Militares”, promulgado paralelamente.
Los fondos se completaron con las grandes remesas de documentos procedentes de las posesiones de Ultramar, que se acababan de perder tras el “Desastre” del 98. La importancia que se dio a la repatriación de esta documentación, así como la eficacia y celeridad en la actuación, son una clara muestra del interés que el Ejército ya mostró en estos años por su patrimonio documental.
El Alcázar de Segovia, ubicación elegida como sede del archivo, había cumplido hasta entonces diferentes funciones: fortaleza hispano-árabe, residencia cortesana de la realeza y prisión de Estado. En tiempos de Carlos III, con el nombramiento del Conde de Gazola como Inspector General del Arma de Artillería y la decisión de crear dentro de sus muros el Colegio del Arma (1764), el Alcázar empezó a tomar otra dimensión histórica, truncada por el incendio que lo destruyó completamente el día 6 de marzo de 1862.
Posteriormente, el edificio, declarado Monumento Nacional, pasó a manos de los Ministerios de Fomento y Hacienda, que costearon su reconstrucción, pasando posteriormente al Departamento de Guerra en 1896, con destino exclusivo al Cuerpo de Artillería y su Archivo Central.
A partir de entonces comenzaron a entrar legajos de documentación perteneciente a la Artillería española. Pero este nuevo destino del Alcázar, sólo para un arma, no contaba con el consenso del colectivo militar ya que desde 1889 el Ministerio de la Guerra estaba haciendo gestiones con la finalidad de convertir el edificio en Archivo General Militar, lo cual se materializó definitivamente en el año 1898 con el Real Decreto de creación del Archivo ya mencionado.
