El testimonio escrito más antiguo del Alcázar de Segovia, es un documento de 1122, que menciona la fortaleza como un castro sobre el Eresma. Aunque de origen romano, se carece de vestigios arquitectónico notables anteriores a la época de Alfonso VIII. Con Alfonso X el Sabio, el Alcázar se convirtió en una de las residencias predilectas de la Corona. La dinastía de los Trastámaras levantó el suntuoso conjunto de salones al estilo de los alcázares andaluces, cuya decoración inició la reina Catalina de Láncaster. Durante el reinado de su hijo, Juan II, tuvieron lugar en el Alcázar grandes fiestas cortesanas evocadas por Jorge Manrique. Su hijo, Enrique IV continuó la labor de embellecimiento y probablemente en su reinado debió de terminarse la gran torre que lleva el nombre de su padre. La reina Isabel la Católica, salió del Alcázar para ser proclamada Reina de Castilla y León, en la Plaza Mayor de Segovia. También sería en el Alcázar donde Felipe II celebró su boda con Ana de Austria. Este mismo Rey realizó importantes obras en el castillo, mandando construir el patio herreriano y el cubrimiento de las techumbres del edificio con chapiteles de pizarra.
Durante muchos años la fortaleza fue utilizada como prisión de Estado, hasta que en 1764 se instaló en ella el Real Colegio de Artillería, bajo la dirección del Conde de Gazzola. Con un breve paréntesis, permaneció aquí hasta 1862, cuando un incendio destruyó las techumbres. A los veinte años del incendio se comenzó una larga campaña de restauración, que, finalizada en su parte exterior, permitió albergar en 1898 el Archivo General Militar.
Por Decreto de 18 de enero de 1951, se creó el Patronato del Alcázar de Segovia para regular la utilización del edificio y sus anexos en beneficio del común acervo cultural. A partir de entonces se inició una reconstrucción y restauración interior en profundidad, que incluyendo el actual museo, está prácticamente finalizada.