I begyndelsen af 1944 etablerede den tyske værnemagt sig permanet i området omkring Baldersbæk.  Arealerne mellem Langemosen og Starupvej blev beslaglagt, og der anlagdes egentlige forsvarsstillinger med løbegrave, skydestillinger samt en nedgravet, camoufleret kommandocentral i den sydligste del af arealet og med udsigt ned over ådalen. Nord herfor blev der anlagt en række jordbunkers beregnet som sove- og opholdssteder for ca. 12 mand. De nordligste bunkers blev brugt som ammunitionsdepot. Alle var kvadratiske i grundplan, nedgravede og med en overbygning af granstammer, ris og græstørv. Adressen var FELDPOSTNR 29911A.

Til stor gene for lokalbefolkningen anlagde tyskerne en skydebane, hvor man skød med skarpt fra Baldersbæk Plantage tværs over den offentlige vej mod Skovende Plantage. Dette betød, at civilbefolkningen måtte en stor omvej for at komme øst ud af sognet. Plantør Simonsens børn har efterfølgende fortalt, at de ofte var bange for de tyske soldater, når de skulle igennem skoven, selvom de ikke gjorde dem noget.

I efteråret 1944 fandt to begivenheder sted, der fik betydning for Baldersbæk. På dette tidspunkt blev Villaen beslaglagt af den tyske værnemagt og anvendt af 25 tyske soldater, der skulle uddannes i plantagen. De boede i spisestuen, havestuen og gæsteværelserne på første sal. De rejste dog allerede igen omkring 1. december. Villaen stod netop det efterår tom, fordi værtinden, som ellers havde taget fast ophold på Baldersbæk, om sommeren var blevet syg. For at den tyske værnemagt ikke skulle få ejerfornemmelser over Villaen, fik plantør Simonsen arrangeret, at hans datter skulle sove i kælderen.

Den 15. november 1944 kastede engelske flyvere brandbomber ned over området efter flere overflyvninger. En del af brandbomberne ramte til alt held søerne, men området omkring Villaen brød i brand, hvilket forvoldte stor skade på vegetationen omkring huset. En gammel hvidgranhæk udbrændte og mange af børsfigurerne gik til. Tre bomber ramte tillige Villaen, og en af dem antændte. Ilden blev hurtigt slukket, men nåede da forinden at ødelægge et af gæsteværelserne på første sal, hallen og en del af havestuen. Det lykkedes dog at redde inventaret fra havestuen, inden ilden fik rigtig fat.

Den 7. april 1945 blev Villaen atter beslaglagt af de tyske soldater, der indrettede den som lazaret med otte sengepladser. De indførte selv strenge husregler for at skåne huset – blandt andet var det forbudt at færdes indendørs med støvler på. Knap en måned efter kapitulerede Tyskland – krigen var forbi. Baldersbæk slap af med tyskerne, men navnet 'Tyskervejen' i Baldersbæk Plantage er en påmindelse om en fremmed magts besættelse – også netop der.