Successivamente fu aggregato alla divisione Totenkopf di Theodor Eicke ed arrivò in seguito a comandare la 36.
Waffen-Grenadier-Division der SS, o forse più correttamente brigata, che prese appunto il nome di Dirlewanger, composta per lo più da ex-galeotti e criminali comuni, che oltre ad essere destinati a morte certa nelle zone più critiche del fronte orientale, si macchiarono anche di vari crimini di guerra compiuti nei confronti dei civili polacchi, ucraini e bielorussi.
Sembra persino che i russi non facessero prigionieri tra i soldati arresi o catturati appartenenti a questa brigata.
I francesi seppellirono il corpo di Dirlewanger il 19 giugno 1945, lasciando ancora molti dubbi.