Sångaren - som är den första kvinnan att vinna priset två gånger - vann också bästa popsång album och bästa musikvideo för hennes spår Bad Blood.
Rapper Kendrick Lamar vann flest priser på natten med fem utmärkelser.
Den brittiske sångaren Ed Sheeran vann också sin första två Grammys för årets sång och bästa popsoloföreställning för sin första hit Thinking Out Loud.
Se listan över nyckelvinnare
En förvånad Sheeran slog Lamar, Swift, landgruppen Little Big Town och Wiz Khalifa till årets sång.
"Vi skrev [låten] på en soffa i mitt hus. Tack vare mina föräldrar som har flugit till Grammys varje år under de senaste fyra åren och varje gång jag förlorar säger jag "kanske nästa år", sade han när han samlade in priset.
"Om du hade sagt till mitt 11-åriga jag att jag skulle få ett pris av Stevie Wonder skulle jag bli lurad."
Swift blev lika förvånad över att ha vunnit den högsta äran. Hennes skiva, som släpptes 2014, kom ut för sent för att vara berättigad till förra årets utmärkelser så blev slutligen erkänd vid årets ceremoni.
Hon höll ett kraftfullt tal och sade: " Som den första kvinnan att vinna årets album på Grammys två gånger, vill jag säga till unga kvinnor: Det kommer att finnas människor på vägen som kommer att försöka underkuva din framgång eller ta åt sig äran för dina prestationer eller din berömmelse.
"Men om du fokuserar på ditt arbete och inte låter dessa människor distrahera dig, en dag när du kommer dit du ska, kommer du att se dig omkring och du kommer att veta att det var du och de människor som älskar dig som satte dig där. Och det kommer att bli den största känslan i världen."
Lamars vinster inkluderade bästa rapalbum för To Pimp A Butterfly; bästa raplåt och rap performance för Okay; bästa rap/sung samarbete och bästa musikvideo, som han delade med Swift for Bad Blood.
Alabama Shakes var tredubbla vinnare. De samlade bästa alternativa musikalbum medan deras låt Don't Wanna Fight vann bästa rocklåt och rock performance.
Weeknd plockade också upp två Grammys för bästa urbana samtida album och bästa R & B prestanda.
Mark Ronson och Bruno Mars vann två utmärkelser för sin hit Uptown Funk, inklusive årets rekord, medan Meghan Trainer utsågs till bästa nya konstnär.
Brittiska rockbandet Muse vann också bästa rockalbum för Drones, och Tony Bennett samlade sin 18:e Grammy för bästa traditionella popsång album.
Justin Bieber vann också sin första Grammy för sitt samarbete med Skrillex och Diplo, som vann bästa dansinspelningen för Where Are U Now.
Utanför huvudkategorierna vann Amy - Asif Kapadias dokumentär om Amy Winehouses liv - Grammy för bästa musikfilm.
Swift öppnade ceremonin med en översättning av hennes sång Out of the Woods och var en av många som uppträdde under showen, tillsammans med Lamar, Adele, Ellie Goulding, James Bay och The Weeknd.
Adeles uppträdande hindrades dock något av ljudproblem som tycktes kasta sångaren.
Hon twittrade senare: " Pianomikrofonerna föll på pianosträngarna, det är vad gitarrljudet var. Det fick det att låta ostämd."
Rihanna hade också varit på väg att uppträda, men drog ut i sista minuten på läkarens order på grund av bronkit.
Det fanns också ett antal akter som gav hyllningsföreställningar - Lady Gaga sjöng en medley av David Bowie låtar, Jackson Browne och The Eagles spelade för att hedra Glenn Frey och Stevie Wonder mindes Earth Wind och Fire's Maurice White.
Hollywood Vampires - en supergrupp bestående av stjärnor inklusive Alice Cooper, Johnny Depp och Joe Perry - spelade också som hyllning till Motorheads Lemmy.
Taylor Swift's 1989 har vunnit årets eftertraktade album på årets Grammys i Los Angeles.