Деревянную крепость Кастеллет на острове Кастелльхольмен построили как оборонительное сооружение в 1667 году. До этого на месте будущего укрепления находились лишь небольшая сторожка и флагшток.
Через какое-то время Кастеллет потеряла свою первоначальную функцию, так как военно-морской флот Швеции перебрался в другое место, а позже и вовсе стала культурным символом.
Деревянную постройку в середине XVIII века заменили на каменную, а в XIX веке в замке Кастеллет оборудовали лабораторию по производству пороха. В 1845 году в ней произошел крупный взрыв, жертв не было, но вот значительная реконструкция, пришедшаяся на 1846-1848 годы, случилась. Её руководителем стал архитектор Фредрик Блом.
Сегодня замок Кастеллет представляет собой круглую башню с краснокирпичными стенами и лестничный пролет высотой 20 метров. Каждое утро над бывшей крепостью поднимается шведский морской флаг, который символизирует мир и то, что страна не оккупирована вражескими войсками и не участвует в военных действиях.
