El Archivo General Militar de Ávila fue creado en el año 1993, encuadrándose en la Subdirección de Historia Militar, Archivos y Bibliotecas del Servicio Histórico Militar, con el fin de aumentar las posibilidades de espacio de los archivos históricos del Ejército de Tierra, ya que, tanto el Archivo Central del Servicio Histórico Militar, hoy Archivo General Militar de Madrid, como el Archivo General Militar de Segovia, estaban al límite de sus capacidades.
El Archivo se emplazó en el Palacio de Polentinos de Ávila, antigua sede de la Academia de Intendencia, que contaba con un conjunto de instalaciones que permitían al Ejército de Tierra afrontar el crecimiento de sus archivos con una perspectiva de futuro clara.
En abril de 1994 comenzaron las primeras obras de adaptación del edificio y en diciembre de ese mismo año se recibió el primer envío de documentación procedente de la Cuarta Sección del entonces Archivo Central del Servicio Histórico Militar. El núcleo de esta documentación lo constituía el antiguo Archivo Histórico de la Campaña, que en 1939 unificó en un solo archivo la documentación militar del Ejército franquista y del Ejército republicano. A este fondo inicial se incorporaría posteriormente el Archivo de la Milicia Nacional, compuesto de dos fondos: por un lado el fondo de las propias unidades de la Milicia Nacional (Falange y Requetés) y, por otro, el fondo de la División Española de Voluntarios (División Azul).
A estos fondos se unieron posteriormente otros, como los de Hospitales de Campaña, Ministerio del Ejército, Capitanías Generales, Casa Militar de Franco, Comandancias de Obras, Fábrica de Armas de Toledo, documentación de las unidades ubicadas en los territorios de Ifni y Sahara, Academias y Centros de Enseñanza y diversas colecciones documentales, entre los más relevantes.