Stilaan laten ook de laatste kompanen De Man in de steek en zelfs de Duitsers beginnen hem te wantrouwen omdat hij weigert zich door hen te laten manipuleren. Ook ligt hij overhoop met het VNV van Staf de Clercq. Op 16 februari 1941 kantte De Man zich ronduit tegen de politiek van de VNV'rs die zich volgens hem 'opwerpen als verdedigers van de Duitse nationaal-socialistische belangen'. Hij noemt het VNV kruiperig: "Tragisch in dit verband is dat die heren uitpakken met het verraad dat zij zouden hebben gepleegd(..) Met zulke mensen µhebben wij niets te maken. Hun moreel niveau past niet voor ons volk. Onder zulke heren kan ik niet leven. Dan trek ik er liever uit. Ik maak mijn houding niet afhankelijk van de uitslag van de oorlog."

In november 1941 verliest hij zijn baan bij de ULB en de Duitsers leggen hem in juli 1941 spreekverbod op. Nadat ook koning Leopold III hem eind 1941 laat vallen, trekt hij zich totaal ontgoocheld terug in de Franse Haute-Savoie waar hij een kluizenaarsbestaan leidde en verder blijft schrijven. Hij geeft ook het boek ‘Cahiers de ma montagne’ uit. Op 24 augustus 1944 werd De Man door de Franse F.F.I. aangehouden toen hij naar Zwitserland probeerde te onvluchten. Hij werd echter weer vrijgelaten en vestigde zich in Zwitserland. In september 1944 vraagt hij politiek asiel aan in Zwitserland en trouwt er voor de derde keer.

Twee jaar later wordt hij veroordeeld tot 20 jaar gevangenisstraf, 10 miljoen frank schadevergoeding en militaire degradatie. Hij trekt met een petitie naar de Senaat, echter zonder resultaat. Door de publicatie van ‘Cavalier Seul’ in 1948 loopt hij een extra veroordeling op, gezien politiek veroordeelden zich niet mogen bezighouden met journalistieke activiteiten. In 1949 doet hij een laatste poging tot eerherstel en stelt een nieuwe petitie op, nogmaals zonder resultaat.

In 1950 en 1951 publiceert hij respectievelijk 'Jacques Coeur, der königliche Kaufman' en 'Vermassung und Kulturverfall: eine Diagnose unserer Zeit'. Op 20 juni 1953 komen Hendrik De Man en zijn echtgenote om het leven in een auto-ongeval aan een onbewaakte overweg in Mürten in Zwitserland. Postuum wordt het werk 'Gegen den Strom; Memoiren eines europaïschen Sozialisten' uitgegeven.