Betänkandet varnar för att underlåtenhet att återintegrera återvändande kan leda till ytterligare radikalisering.
Somalias islamistiska al-Shabab-militanter tros rekrytera kraftigt i grannlandet nordöstra Kenya.
Kenya har sett en rad militanta attacker med en vid ett universitet tidigare i år dödade 148 personer.
Även om rapporten inte nämner varifrån de återvändande kom, har vice generalsekreterare för Kenyas högsta råd Muslimer (Supkem) Hassan Ole Nadu bekräftat för BBC att de kämpade för al-Shabab.
Den 36-sidiga rapporten sammanställdes av IOM, Supkem och Kenyas inrikesministerium.
Forskarna fann att även om de flesta vuxna frivilligt gick med i gruppen, sade nästan en tredjedel av de barn som intervjuades att de var tvungna att ta värvning.
Ungdomens återkomst, sägs det i rapporten, ger både "möjligheter och hot för och till kenyaner".
– Å ena sidan erbjuder de en möjlighet att motverka de radikaliserande ideologierna och rekryteringsstrategierna för beväpnade grupper, säger rapporten.
"Å andra sidan uppfattas säkerhetsstyrkornas reaktion allmänt som att den främjar ytterligare radikalisering eftersom de återvändande själva anser att de är osäkra och har begränsade möjligheter till återintegrering."
Säkerheten i landet identifierades av deltagarna som det största hindret för deras framgångsrika återintegrering i landet.
Totalt intervjuades 185 svarande, vilket motsvarar nästan 30 % av det uppskattade antalet 684 återvändande i landet. Majoriteten var mellan 18 och 34 år.
Nästan 700 rekryter har återvänt till Kenya efter att ha lämnat militanta grupper, sägs det i en rapport från Internationella organisationen för migration (IOM).