Den ex-Villa spelaren och Nottingham Forest boss, 51, slutade sin roll som Chris Hughton nummer två före fredagens 1-1 dra mellan de två sidorna.
"När jag hörde Colin var intresserad han sköt till toppen av högen," Villa chefen Steve Bruce berättade klubbens hemsida.
"Vi intervjuade två eller tre personer men när jag väl visste att Colin var tillgänglig var det bara en person jag ville ha här."
Flytten till West Midlands ger Calderwood, som tidigare också hade hand om Hibernian och Northampton Town, ett kortare dagligt pendlingsavstånd från sitt hem i Northampton.
Mediauppspelning stöds inte på den här enheten
En Brighton uttalande släpptes på fredag sade Calderwood, som placerades på trädgårdsledighet den 12 november, hade lämnat klubben för ett jobb "på annat håll".
"Vi måste gå vidare", tillade Hughton. "Vi har ett team som är mycket väl borrat just nu. Mitt främsta bekymmer är att vi inte har några störningar här. Jag kommer att tänka länge och hårt på att få någon i den positionen."
Bruce tog över som Villa boss den 12 oktober, tar in tidigare Birmingham City spelare Stephen Clemence som huvudtränare, efter att ha haft honom som en del av hans backroom team på Sunderland och Hull City. Klubben döpte även Ian Atkins till ny chefsscout/chef för europeisk rekrytering.
Villa chef för fotboll Steve Round tillade: " Vi är glada över att säkra Colins tjänster. Han är en utmärkt tränare och en enastående person.
"Han har stor erfarenhet på högsta nivå och kommer att vara ett utmärkt tillskott till vår ledningsgrupp."
Prenumerera på BBC Sport nyhetsbrev för att få vårt tips på nyheter, funktioner och video skickas till din inkorg.
Aston Villa har utsett före detta Brighton coach Colin Calderwood till deras biträdande chef för Steve Bruce.