Greve Hans Wachtmeister - generalamiral i Karlskrona - uppförde ett privatpalats åt sig och familjen som stod klart år 1705. Wachtmeisterpalatset, i dagligt tal Grevagården, började byggas 1703. Den 9 november 1706 flyttade familjen in. Byggherre var amiralgeneral Hans Wachtmeister. Som arkitekt engagerades Rudolf Bientz, byggmästare vid Amiralitetet. 

Grevagården med intilliggande barockträdgård är en av få privata bostäder som sparades vid den stora stadsbranden år 1790. 

Byggnadens centrala del är uppförd i två våningar under säteritak. Hörnpartierna är utformade som paviljonger i tre våningar. Den markerade tredelningen av fasaden är, liksom fritrappan, karaktäristisk för barockens formspråk. Bottenvåningen inrymde kök samt utrymme för matvaror med mera. Första våningen var den egentliga bostadsvåningen. Planlösningen är tidstypisk med centralt placerad sal, kring vilken övriga rum grupperar sig. I den översta våningen var endast hörnpaviljongerna inredda för bostadsändamål.

Huvudbyggnaden genomgick ombyggnader omkring år 1800 samt 1867. Större delen av den bevarade fasta inredningen tillkom vid dessa tillfällen. Grevagården var länsresidens. Hans den yngre Wachtmeister, landshövding, och hans familj använde Grevagården som privatbostad fram till 1883. Därefter hyrdes fastigheten ut och bland andra flyttade Hushållningssällskapets expedition in.

När  Blekinge museum övertog fastigheterna i kvarteret i början av 1970-talet gjordes en omfattande renovering, och Grevagården återställdes i möjligaste mån i ursprungligt skick.