Los gastos de la construcción del conjunto arquitectónico del Castillo de San Carlos ascendieron a 12.000 libras, 5.000 a cargo de la Universidad del Reino de Mallorca, otras 5.000 pagadas por la Corona. Las 2.000 libras restantes las abonó el Colegio de Mercaderes.
La construcción se realizó entre 1610 y 1612 y la torre se ubicó en el sitio original donde se elevaba el antiguo faro de Porto Pí.
El torreón presenta forma tetragonal con un baluarte en cada una de sus esquinas. El material es de sillería de marés y se pueden observar en muchas zonas marcas de los canteros propias del momento. Ante la necesidad de aumentar la dotación del Castillo y su material, en 1662 Felipe IV aborda nuevas obras que corren a cargo del ingeniero militar don Vicente Mut. La fortaleza presentará entonces su forma trapezoidal característica con cuatro grandes baluartes. Ya en el siglo XIX, sufre la última gran reforma: una batería de costa con cuatro cañones «Ordoñez» de a 24 en su exterior.
Durante el siglo xx ha tenido diversos usos: como hospital, prisión de oficiales, batería de salvas y finalmente Museo Militar, inaugurado oficialmente el 26 de septiembre de 1991. En 1994, con la ayuda de varias entidades públicas y privadas, entre ellas la Asociación de Amigos del Castillo de San Carlos, el Museo fue dotado de dos nuevas salas y se mejoró la entrada y la iluminación del edificio.
Desde 1997 forma parte del Consorcio Castillo de San Carlos.
