Huset blev tegnet af landets førende arkitekter Valdemar og Bernhard Ingemann. Disse havde kort forinden med stor succes tegnet anlægget på Høllund Søgaard, og havde desuden selv investeret i en større plantageejendom nord for Baldersbæk.

Villa Baldersbæk blev bygget som et Maison de Plaisance, inspireret af Frederiksdal slot ved Furesøen. Villaen blev anlagt med en bred og kort bygningskrop med "økonomiafdeling" (køkken, bryggers, fadebur, pigeværelser m.m) i den høje kælder, og beboelsen i stueetagen - højt placeret med en fri udsigt.  Hallen og havestue lå i husets midtakse som de fineste rum, hvorfra man havde direkte adgang til haven. Til den ene side lå herreværelset, til den anden den store spisesal. På første salen, under det vældige mansardtag indrettedes en række gæsteværelser. Prisen for byggeriet beløb sig til 26.000 kr.

Husets var indrettet i tidens stil med fine stuklofter og smukke gulve. Fra København leveredes specielt fremstillede møbler, dekoreret med egeløv, som Holger Petersen holdt meget af. Desuden blev der i hovedstaden købt alt såsom køkkengrej, service, linned osv.

Villaen var opført i en tid uden moderne bekvemmeligheder. Petroleumslamper og stearinlys udgjorde belysningen, og huset blev varmet op af kakkelovne og pejse. Der fandtes to lokummer, et i stueetagen ved siden af hallen og et i kælderen.

Der var ikke lagt vand ind i Villaen, men heldigvis løb Baldersbækken lige neden for. For at skaffe vand til springvandene og til husholdningen, kunne man stemme bækken op. Ved at nedlægge et ca. 300 meter langt glaseret lerrør, kunne man få et faldt til en udvendig, støbt kælder, hvor der var placeret en stødhævert / hydraulisk vædder. Stødhæverten kunne så skabe et tryk, der kunne fylde en stor vandbeholder på loftet af Villaen, og herfra blev vandet fordelt til springvandet og køkkenet (vandet blev dog ikke brugt til madlavning eller som drikkevand).

Spildevandet blev ledt fra Villaen via en grøft ud i engen. Grøften var forbundet med dammene og ved regulering af vandstanden i dammene, kunne man skylle grøften ren og spildevandet ud i Holme Å. I 1927 fik man indlagt strøm og dermed mulighed for egen boring og rindende vand.