El 5 de noviembre de 1850 es creado por Real decreto el que se puede considerar el primer Centro de Enseñanza del Arma: el Colegio de Infantería. Durante sus 19 años de existencia reside en los edificios del Hospital de Santa Cruz, Hospital de Santiago y Casa de Caridad, de la ciudad de Toledo. En abril de 1869, el Colegio, que dos años antes ha recibido el nombre de Academia de Infantería, cierra sus puertas debido al exceso de oficiales del Arma.
En octubre de1875, la Academia de Infantería retorna a Toledo, alojándose en el Alcázar de la ciudad.
Durante el transcurso de los años la Academia irá integrando otras instituciones educativas del ejército como la Academia General Militar o su organismo dependiente, la Escuela de Educación Física hasta que en junio de 1931 una nueva reorganización determina que se una en un solo centro la Academia de Infantería, Caballería e Intendencia, ocupando diversas sedes. Posteriormente, en 1948 se dispone que la Academia de Transformación de Guadalajara tome la denominación de Academia de Infantería, residiendo en dicha ciudad hasta 1948. Fecha en la que se funde con la Escuela de Aplicación y Tiro de Infantería y retornando a la Ciudad imperial, donde todavía reside.
