I mange år, mens plantagen endnu ikke var vokset op, virkede den imponerende bygning noget fremmedartet i den barske natur, og forståeligt nok fik den ret hurtigt betegnelsen "æ slot" blandt lokalbefolkningen.

Anlægget omkring blev formet af landets førende havearkitekt, stadsarkitekt Erik Erstad-Jørgensen, fra København. Den blev anlagt med opstemmede søer, stier, hytter, statuer og springvand i tidens stil præget af den nyromantiske ånd. I skrænten, på den anden side af de kunstigt anlagte søer, blev der udgravet iskældere, hvor man opbevarede vinterens is fra søerne. Hele området blev anlagt i romantikkens ånd. Denne opstod oprindeligt som en oprørsbevægelse mod oplysningstidens dyrkelse af intellekt og fornuft. Romantikkens kunstnere dyrkede fortidens sagnhistorier, og genoplivede interessen for oldtidens stendysser, gravhøje og kilder. Disse blev opfattet som smukke, om end kunstige, landskabsruiner fra en svunden tid. Det var derfor naturligt, at man anlagde stendyssen og kilden i Baldersbæk, ligesom Bundgaards statuer også er inspireret af fortidens stilarter.

(Du kan læse mere om de forskellige elementer under Skulpturer og kunst).

Terrænet i Baldersbæk er præget af Holme Ådalen og de mange småbække, der løber ud i Holme Å. Da Holger Petersen i 1910 planlagde et byggeri, valgte han at placere Villaen med udsigt ud over henholdsvis engen omkring Holme Å og mosen langs Baldersbækken. Huset ligger således anbragt på en tange ud i de to slugter, hvilket er med til at give det en efter vestjyske forhold helt unik placering.

Da engen, stadig i 1910, gav gode indtægter ved salg af enghø, blev der ikke foretaget nogle indgreb her, om end man rejste Treherredsstenen i 1913. Derimod havde man ikke længere brug for mosearealet langs Baldersbækken, hvilket nok er begrundelsen for, at man valgte at opstemme søerne, anlægge stier, statuer m.m i netop dette område og med aksen som det styrende princip. Aksen er en visuel linje, der går fra Villaens centrum, tværs over søerne og slutter ved stendyssen - Dette er et stiltræk fra barokken, som tilstræbte at samle og skabe balance og harmoni i anlægget.

Holger Petersen havde på Høllund Søgaard, som han også var medejer af, brugt den kendte havearkitekt, Edvard Glæsel til at udforme haven, men på Baldersbæk blev det Glæsels elev, Erik Erstad-Jørgensen, der kom til at stå for arbejdet. Erik Erstad-Jørgensen arbejdede på at give det arkitektoniske haveanlæg en opblomstring i Danmark, og som lærer på Kunstakademiet skabte han begrebet havearkitektur.

Et dominerende element i haven var indkørslen, der blev anlagt med store lærketræshække med udposninger, de såkaldte exedra-motiver, hvor der var plantet birketræer – og her blev de originale sandstensfigurer fra Børsen pertentlig anbragt. Under krigen blev indkørslen svært beskadiget af brandbomber, hvorved både hække og statuer tog skade (Se under Børsfigurerne eller Krigen).

På bagsiden af huset, og med udsigt ned over engen, blev der skabt et fint symmetrisk haveanlæg i barokstil (lukket for offentligheden). Haven blev anlagt med parterrebede, hvor lavt, klippede buksbomhække i forskellige mønstre stod i skarp kontrast til skoven og engen. Parterreanlægget var på begge sider flankeret af en smukt udført pergola i lærketræ. For enden af haven blev der anlagt et fint bassin med Anders Bundgaards springvand af den harpespillende pige. Springvandet fra 1910 var Anders Bundgaards første bestilling til Baldersbæk. Springvandet er fremstillet således, at der løber vand ned langs harpens strenge. Vandets løben sætter strengene i svingninger, og lytter man nøje efter, kan man næsten høre musikken. Det var Anders Bundgaards egen datter, som sad model til springvandet (se under husets indretning og interiør om springvandets drift). Havens oprindelige former udviskedes som årene gik, og i tiden op til 100-års jubilæet for ibrugtagelsen af Villaen, blev haven totalt genoprettet.