Tidigare Dons midfielder Sheerin, 39, har varit spelar-chef på Red Lichties sedan 2010 och ersätter Neil Cooper på Pittodrie.
Arbroath förvisades till Scottish League 2 efter avslutning säsongen 2013-14 botten av League One.
Aberdeen chef Duncan Fraser sade chefen Derek McInnes valde Sheerin efter "en omfattande process".
På klubbens hemsida tillade Fraser: "Trots att han ville behålla Paulus tjänster, var Arbroaths ordförande John Christison bra att ta itu med och uppskattade fullständigt Paulus önskan att komma tillbaka till Aberdeen."
Sheerin spelade för flera skotska klubbar och medverkade även för Östersunds i Sverige innan han började träna. Han vann en Scotland Under-21 cap i mitten av 1990-talet.
Sheerin guidade Arbroath till sin första nationella trofé i sin historia genom att vinna den skotska tredje divisionen titel och befordran 2011.
Paul Sheerin har lämnat sin post som Arbroath manager för att bli Under-20s tränare på Aberdeen.