Kastellet började uppföras i samband med anläggningen av den nya flottbasen Karlskrona 1680 och ritades av militären och arkitekten Erik Dahlbergh.

Bygget var en konsekvens av Karl XI:s beslut att flytta svenska flottans huvudbas till Blekinge och runt basen anlägga en ny stad, Karlskrona. Enligt Dahlbergh så skulle ”näpeligen något skönare SiööCastel finnas uti hela Europa”. Anläggningens kärna är en tre våningar hög donjon, en långsmal byggnad som användes för täckt uppställning av kanoner samt förläggningar. Donjonen var omgiven av fyra bastioner som fått namn av de svenska drottningarna Kristina, Hedvig, Maria och Ulrika. Bastionerna vid sjöfronten är förbundna med murar, så kallade kurtiner.

För att skydda kastellet mot anfall från landsidan byggdes även murar, vallgrav och en ravelin på Aspö på 1730-talet. Kastellet byggdes så att kanoner kunde placeras i tre nivåer, vilket innebar att 44 kanoner samtidigt kunde beskjuta fientliga fartyg. Sedan Kastellet byggdes har två fientliga flottor försökt angripa Karlskrona, men ingen av dem lyckades passera fästningarna.

Ryssarna fegar ur…

Det första försöket stod Rysslands tsarinnan Katarina II för under kriget 1788–1790. Hennes flotta låg strax utanför Drottningskär med order att förstöra Karlskrona. Men flottans kapten vågade inte kryssa genom sundet. När han återvände och förklarade detta för tsarinnan Katarina II blev hon rasande och kallade i sin dagbok Drottningskärs kastell för den grå lusen som förstörde hennes planer.

Lord Nelson vågade inte chansa…

Det andra misslyckandet stod Englands berömde sjöhjälte Lord Nelson för. År 1801 skickades han till Östersjön med uppdrag att förhindra det neutrala Danmark att överlämna sin flotta åt Napoleons Frankrike. Den engelska flottan gick till attack mot Köpenhamn den 2 april 1801. Stora delar av danska flottan förstördes. Nästa mål för Nelson var den svenska flottans bas i Karlskrona. Den brittiska flottan hamnade i samma läge som den ryska och Lord Nelson hade svårt att avgöra om han skulle våga försöka kryssa genom sundet. Det blev väldigt dimmigt när Nelsons flotta låg där och väntade och en barkass skickades ut för att loda djupet. Av någon anledning var fästningskommendanten på Drottningskär mycket orolig den kvällen över att kanonernas krut skulle ha blivit fuktigt. Han beordrade en provskjutning. Den föll så väl ut att skottet sånär träffat den lilla barkassen som skrämt gav sig tillbaka. När den återvänt hade dess befälhavare meddelat Lord Nelson att fästningen kunde avfyra kanoner och på något märkligt sätt se i dimman och träffa rätt. Detta skrämde engelsmännen från sundet och även de återvände snopet hem igen.

Fram till 1820-talet var Drottningskär huvudbefästningen i Karlskronaområdets yttre försvarslinje, varefter Kungsholms fort övertog denna roll. På 1870-talet avrustades Drottningskär och 1895 utgick kastellet från försvarsorganisationen. Drottningskär förblev oprövat i strid även om det varit krigsbemannat vid ett flertal tillfällen. När första världskriget bröt ut 1914 återupplivades Drottningskär eftersom ett provisoriskt kustartilleribatteri, om tre 12 cm kanoner, behövde sättas upp. Provisoriet avvecklades inte förrän 1928–1929 då kanonerna flyttade till en ny batteriplats på en annan plats på Aspö.