Mellan 1781 och fram till 1800 var fartygsbyggandet i Karlskrona intensivt. Även förråds- och verkstadsbyggnader byggdes. Inventariekammaren blev ett av de största byggprojekten. Den var tänkt att vara en av tre planerade inventariekamrar som tillsammans skulle sträcka sig från högvakten till strax söder om Amiralitetskyrkan.

Det första utkastet till byggnaderna ritades av Johan Norberg 1775. Både af Chapman och C A Ehrensvärd blev delaktiga i projektet och gjorde om ritningar för att kunna bemöta alla förväntningar.

Här förvarades segel, tågvirke och lösa inventarier enligt ett noga organiserat system sedan skeppen avriggats inför vintern. Fartygen kunde vid den tiden lägga till vid kaj strax utanför. Invändigt var inventariekammaren ändamålsenligt organiserad för att på så kort tid som möjligt kunna få flottan segelklar. Även arkitektoniskt har byggnaden ett rationellt uttryck med ett fåtal detaljer som upprepas. De 20 identiska portarna hade dock skilda funktioner.

Inventariekammaren blev kostsam att bygga. Dels beroende på valet av byggmaterial och för att arkitekten, Carl August Ehrensvärd ändrade ritningarna under arbetets gång. Men, också för att grundläggningen på den gamla havsbotten var komplicerad. Vid ett besök i Karlskrona sägs det att Gustav III sa syrlig om byggnaden var gjord av silver, när han såg Inventariekammaren. Det är därför byggnaden ibland kallas silverhuset.

I Inventariekammaren sammanfaller innovation och tidlöst uttryck. Byggnaden fick ett skeptiskt mottagande men har med sin geometri och avskalade enkelhet senare tjänat som ett lärostycke för generationer av svenska arkitekter.