Den 53-årige mannen, identifierad som Ramu Chavan, accosted av trafikpolisen efter att de fick flera samtal från personer som såg honom.
Polisen berättade för BBC Hindi att Mr Chavan hade erkänt att halshugga sin fru men inte avslöja ett motiv.
Polisen misstänker att han är mentalt instabil och söker mer information.
Han arbetade som väktare i en byggnad som för närvarande är under uppförande, sade polisen.
Videor och bilder av Mr Chavan går runt i staden med avhuggna huvudet cirkulerar på indiska sociala medier.
Polisen berättade för BBC Hindi att han verkade gå mot polisstationen redan innan han blev accosted av officerare.
Under tiden har släktingar till den mördade kvinnan, identifierad som Sonubai, anlänt till staden, och polisen försöker få mer information om Chavan från dem.
En man i den västra indiska staden Pune har hållits fången efter att ha burit sin frus avhuggna huvud på en livlig väg, säger polisen.