Holger Petersen købte i 1891 den 625 tdr. store hedegård Bollersbækgaard for 9.000 kr. Året efter påbegyndte man opdyrkningen og tilplantningen af de store hedearealer. I de første mange år boede Holger Petersen på Høllund Søgaard, som han også var medejer af, når han besøgte Vestjylland. I 1910 stod byggeriet af "Villa Baldersbæk" færdigt – tegnet af arkitekterne Valdemar og Bernhard Ingemann fra København og med muremester C. Christensen fra Holsted som ansvarlig for selve byggeriet.