Holger Petersen blev i 1872 gift med datteren af en hollandsk konsul, Augusta van Aller, og året efter fødtes sønnen Holger. I 1878 døde Augusta. Deres eneste søn, Holger, fik under et ophold i England i 1895 lungebetændelse og døde heraf, kun 22 år gammel. Han selv havde mistet sine egne forældre, mens han endnu var barn, og tabet af sin kone og eneste søn styrkede Holger Petersens familiefølelse. Han samlede hyppigt sine søskende og andre slægtninge til familiesammenkomster, og han sørgede for, at familiehistorien blev beskrevet og dokumenteret i en slægtsbog.

Bagtanken med opførelsen af Villa Baldersbæk var, at hans familie skulle havde et samlingssted efter hans død.  Således blev det bestemt i hans testamente, at Villaen skulle stå til rådighed for efterkommere af hans familie, som her kunne mødes, slappe af og nyde naturen.