En serie av befästningar byggdes från slutet av 1600-talet och framåt, dels på Trossö och anslutande öar och dels i havet. Närmare örlogsbasen och varvet byggdes inre befästningar på bland annat Ljungskär och Mjölnareholmen. 

Koholmen var redan från stadens grundande reserverad för flottans behov. Den dominerande byggnaden på ön är tills idag det Stora kruthuset, som stod färdigt ca 1834. Inget specifikt anläggningsår kan nämnas för kruthuset, men av en handling i Krigsarkivet från 1787 kan man utläsa en ansökan om att rekvirera 200 man att slutföra byggnadsarbeten på kruthuset. Arbetena bör då ha pågått en tid. Vid slutet av 1700-talet bestod kruthuset av ett valv av tegel som täcktes av ett brädtak och var långt ifrån färdigbyggd. Äldsta byggnaden på ön är den lilla vaktlokalen, som ligger intill bostadshuset. Bostadshuset är byggt ungefär vid sekelskiftet 1800.

Efter att kruthuset avskrivits ur krigsorganisationen fick det en annan användning som mer renodlat förråd till verksamheten på Basareholmen. 

Idag förvaltar Statens fastighetsverk byggnaderna på Koholmen. Den som vill besöka ön kan lägga till där med båt, men där finns idag inte några faciliteter öppna för allmänheten.