De lokale bønder fik stor glæde af Holger Petersens initiativer, der skabte arbejde og omsætning i lokalsamfundet. I skoven kunne mændene arbejde med tilplantning, udtynding og nedsabling af træerne. Kvinderne kunne arbejde i planteskolerne og i den store husholdning på Villaen.

Som tak besluttede lokalbefolkningen at rejse et monument over ham i anledning af 25 års jubilæet for plantagens grundlæggelse i 1890. Man kontaktede derfor billedhugger Anders Bundgaard, som i lighed med så mange andre af tidens kunstnere, var præget af den nyromantiske ånd. Som et modtræk mod fornuftsdyrkelsen fattede romantikkens kunstnere interesse for stendysser, gravhøje og kilder, ligesom den mytologiske interesse for sagnhistorier, oldtiden og middelalderen øgedes. Disse elementer blev opfattet som smukke, om end kunstige, landskabsruiner fra en svunden tid.

Derfor faldt det naturligt, at Holger Petersen skulle hædres med en stendysse. De lokale bønder kørte til Klelund, hvor der fandtes en langdysse som man kaldte "Æ stuer jyndovn". Her fandt man de store sten, der skulle bruges. Med seks store heste fik man stenene fragtet til Baldersbæk.
 Transporten af de store sten fra Klelund til Baldersbæk var noget af en opgave for egnens bønder. De dårlige veje betød, at man kørte fast med den tonstunge last. Først efter, at man havde fået skiftet hestene ud, kunne man få vognen fri og stenene fragtet til Baldersbæk. Herefter fik man opstillet et trebenet hejseværk og ved hjælp af en talje, svære reb og muskelmasse, fik man stendyssen rejst.
 Bundgaard kunne efterfølgende udhugge relieffer i stenene i form af en mand, der pløjer med stude – én, der graver et hul – én, der sætter et træ – et rådyr, der dier sit lam. I en af stenene blev der udhugget et egern og et bjørnehoved.

Endelig blev der i stenene indhugget Holger Petersens valgsprog: "Arbejdet er vor trofaste Ven; Hvo som arbejder synker ikke hen".  Stendyssen blev placeret i aksen, der begynder i haven på bagsiden af Villaen, går gennem huset og gårdspladsen, over søerne op gennem skoven for så at ende i stendyssen. Under stendyssen blev der nedlagt en flaskepost med en besked fra Anders Bundgaard.