La Biblioteca Central Militar se crea por Decreto del Ministerio de la Guerra de 16 de diciembre de 1932 en el marco de las reformas militares del entonces Ministro de la Guerra Manuel Azaña. Este decreto retoma un intento fallido de época de Isabel II (1843), de crear una Biblioteca General Militar y por fin se agrupan los fondos de bibliotecas militares de “cuerpos, centros y dependencias de Madrid”. Así se integran en la BCM magnificas colecciones bibliográficas, algunas de ellas constituidas desde mediados del siglo XVIII, pertenecientes a las bibliotecas de Ingenieros del Ejército, del Archivo Facultativo de Artillería, del Ministerio de la Guerra, de la Comisión Histórica de Marruecos, del Depósito de la Guerra, del Estado Mayor Central y de otras varias instituciones.
En 1934 se publica el Reglamento provisional para el servicio de las Bibliotecas divisionarias militares. En él se fijan los órganos de gobierno, los criterios de acceso, la manera de formar los catálogos, ficheros, recuentos anuales y regulación de préstamo. Tras la Guerra Civil, en 1939 se crea el Servicio Histórico Militar, al que se dota de competencias en materia de bibliotecas, archivos e historia militar. La BCM pasa a formar parte del mismo y se le atribuye una función inspectora de las bibliotecas de comandancias y regiones militares, así como de asesoría en materia bibliográfica y de adquisiciones. En 1941 se publica el Reglamento para régimen y servicio de las Bibliotecas Militares que sustituye al de 1934 pero manteniendo muy similares contenidos. La última reorganización administrativa data de 1998 cuando, para sustituir al antiguo Servicio Histórico, se crea el Instituto de Historia y Cultura Militar, de quien depende actualmente la BCM. La biblioteca pertenece a la Red de Bibliotecas de Defensa desde 2008.