Met het uitbreken van de oorlog, bereidde Himmler en zijn SS hun eigen 'oorlog in de oorlog' tegen de Untermenschen voor. De vijand van de 'gezondmaking van het volk' waren bekend. Met dat doel rekruteerde Himmler uit de Sicherheitspolizei en de SD geharde getrouwen en bracht hen onder in Einsatzgruppen, die achter de frontlinie speciale taken moesten uitvoeren. Aanvankelijk stonden deze speciale groepen onder de leiding van Reinhard Heydrich die hun doelstelling als volgt samenvatte: "Uitschakeling van alle joden, van alle Aziatisch-minderwaardigen, van alle communistische functionarissen en zigeuners."

In de zomer van 1941 laat Himmler de kampcommandant van Auschwitz Rudolf Höß bij zich in Berlijn ontbieden en zijn order is formeel: "De Führer heeft de Endlösung der Judenfrage bevolen. Wij, de SS, moeten dit bevel uitvoeren. Daarom heb ik Auschwitz hiervoor aangewezen." Höß moest aan Himmler strikte geheimhouding beloven en met de hulp van Adolf Eichmann, het hoofd van het Judenreferat op het departement van het RSHA (Reichssicherheitshauptambt), de volkerenmoord organiseren en uitvoeren.

Himmler ontwikkelde voor de SS een eigen moraal: het eerste luidde De Führer heeft altijd gelijk en het tweede: Het doel heiligt de middelen. Voor hem was de uitroeiing van de Untermenschen een grootse en unieke taak die nauwgezet volbracht moest worden.

"Het is de vloek van een groot man dat hij over lijken moet stappen ", sprak Himmler nadat hij in de buurt van Minsk getuige was van de executie tweehonderd joden, en hij al bij het eerste salvo een appelflauwte kreeg omdat het commando het niet lukte om twee vrouwen meteen te doden.

"Het Joodse volk wordt uitgeroeid, zegt iedere partijgenoot. Doen we. Vanzelfsprekend. Staat in ons partijprogramma. En dan komen zij met z'n allen, die brave tachtig miljoen Duitsers, en heeft iedereen zijn fatsoenlijke jood. Niemand die zo praat is ooggetuige geweest, niemand heeft het doorgemaakt. Van jullie zullen de meesten het weten wat het betekent als er honderd lijken bij elkaar liggen, als er vijfhonderd liggen, of als er duizend liggen. Dit te hebben doorstaan, en daarbij -afgezien van uitzonderingen wat menselijke zwakheden betreft- fatsoenlijk zijn gebleven, dat heeft ons hard gemaakt.", verdedigde Himmler op 4 oktober 1943 de gruwelijkheden die in de concentratekampen hadden plaatsgevonden, tegenover een aantal SS-commandanten en officieren in Posen (Polen.)

Zie ook Heinrich Himmler over Aktion Reinhard in een speech die hij op 6 oktober 1943 in de Gouden Zaal van het Gemeentehuis van Posen hield tegenover de Reichsleiter en Gauleiter.

Op 4 juni 1942 sterft Reinhard Heydrich, bijgenaamd 'De Slager van Praag', aan de gevolgen van aanslag gepleegd door het Tsjechische verzet en wordt het dorp van Lidice als vergelding letterlijk van de aardbodem weggevaagd. Hij wordt spoedig in haast al zijn functies opgevolgd door Ernst Kaltenbrunner. Die zomer van 1942 was voor Himmler een bijzonder drukke tijd. Met zijn speciale gepantserde trein doorkruiste hij de bezette gebieden, altijd op zoek naar brandstof voor zijn crematoria en kunstmest voor de kruidentuinen van het toekomstige Groot-Duitse Rijk.