Holger Petersen var en seriøs forretningsmand. Når han var på Baldersbæk, kom der et stort legebarn med en barok form for humor op i ham. Når der kom gæster til Baldersbæk blev de budt velkommen af Holger Petersen på hovedtrappen. Inde i hallen blev de placeret i en komfortabel lænestol, mens Holger Petersen ville tage et foto af dem. Kameraet var indrettet med en kunstig gummislange, der sprang ud i hovedet på den intetanende gæst, som naturligvis gav et lille spjæt, der medførte, at stolens armlæn klappede sammen.

I et af værelserne, "Spøgelsesværelset", var spejlene med buet glas og himmelsengen indrettet med en faldmekanisme, der bevirkede, at den brasede sammen i løbet af natten. Skulle den uheldige gæst bruge natpotten, spillede den en lille melodi, "Ach du lieber Augustin". Da Villaen ikke var indrettet med rindende vand, var der servantesæt på værelserne. Benyttede man imidlertid servanten i "Spøgelsesværelset", kunne man risikerer, at det ikke var rent vand, der var i kanden, men derimod skrubtusser, firben og andet kryb.

End ikke i parken kunne man føle sig sikker.  I 1913 lod Holger Petersen Anders Bundgaard udføre et lille anlæg med et springvand med en lille lumsk dreng. (Det var Anders Bundgaards egen søn, der stod model til statuen). For at komme nærmere på statuen måtte gæsten træde et trin op, hvilket udløste en stråle, der sprøjtede ud mod den uheldige. (Læs mere om springvandet under dets underpunkt).