5. SS oklopna divizija "Wiking"
1941. Phleps se odlučio upisati u njemačku vojsku. Pod djevojačkim prezimenom njegove majke Stolz, pridružio se osoblju 5. SS-Panzergrenadier-Wiking divizije. Brzo je napredovao u divizijskim činovima, i nakon smrti Hilmara Wäckerlea, dobija zapovjedništvo nad SS-Westland pukovnijom. Zahvaljujući njegovoj organizacijskoj vještini Phleps je brzo napredovao do čina Gruppenführer SS-a, a 1942. bio je zadužen od Heinricha Himmlera da organizira novu SS jedinicu sastavljene od Volksdeutschera ili njemačkog manjine iz Jugoslavije, Mađarske i Rumunjske.
7. SS dobrovoljačka gorska divizija "Prinz Eugen"
Uglavnom zbog podrijetla njegovih vojnika i njegova karaktera vojne postrojbe kao planinskih, Phlepsova nova naredba je dizajnirana za anti-partizansko ratovanje i raspoređena u područja okupiranim od partizana diljem aneksirane Jugoslavije. U početku, svi njegovi vojnici su bili dobrovoljci, ali kako su morali popuniti ispražnjene redove uvedeno je novačenje. Početkom listopada 1942., 7. SS divizija "Prinz Eugen" neprestano se borila protiv partizana u tzv. "Banden-und Partisanenbekämpfung"u i bila je uključena u brojne ratne zločine protiv civilnog stanovništva.
U priznavanju njegove sposobnosti kao zapovjednika "Prinz Eugen" divizije, dana 21. lipnja 1943. Phleps je unaprijeđen u SS-General Obergruppenführera Waffen SS-a i bio je nagrađen Viteškim križem željeznog križa. Nakon kratkog vremena dato mu je zapovjedništvo nad V. SS-Gebirgs-Korpsom (V. SS gorski korpus)...