Damon, stjärnan i Bourne franchise, skulle ursprungligen regissera och stjärna i filmen, som är nominerad till fem Golden Globe utmärkelser.
Men schemaläggningen innebar att han var tvungen att dra sig ur båda rollerna och stanna kvar som producent.
Affleck tror att "det finns inte många delar som denna".
Och det är till och med för manliga skådisar på toppen av deras karriär.
"Det är så spännande och roligt att få en roll som denna", förklarar han.
"Du får göra vad du trodde att du skulle göra när du började bli skådespelare. Verkligheten är att du gör så mycket du trodde att du aldrig skulle behöva göra, och skulle aldrig vilja göra igen."
Affleck spelar Boston städare Lee, som efter att ha drabbats av smärtsamma tragedier i sitt eget liv, måste återvända till sin hemstad Manchester vid havet för att ta hand om sin tonårige brorson, efter sin brors död.
Filmen skrevs och regisserades av Kenneth Lonergan, som nominerades till en Oscar för sitt skrivande om Martin Scorsese's Gangs of New York.
"Sanningen är att det finns så mycket media där ute, så mycket TV, och det finns en hel del material skrivet för komedier och dramer, men det finns väldigt få saker som har bryggt i åratal på det sätt Kenny skriver saker," skådespelaren hävdar.
"Det är antitesen av vad vår kultur har kommit att bli, jag menar vår västerländska popkultur av att mysa ut den och trassla till den. Det finns också en hel del stora skådespelare där ute, och ibland går manusen till andra människor. Jag hade tur."
Affleck, som 2008 nominerades till Oscar för sin roll i Assassination of Jesse James av Coward Robert Ford, växte upp i Massachusetts-området där filmen sätts, tillsammans med sin bror Ben och granne Matt Damon.
Affleck säger att han var "medveten om projektet under en tid" och visste att Damon arbetade på det.
"När de bad mig att göra det jag sa, "Visst, det kan betyda att vi aldrig får det gjort, men jag är hedrad att du frågade." Det stod mycket klart för mig att det var den typ av film jag skulle älska även om ingen annan gjorde det."
Men filmen fick inte bara strålande recensioner efter sin debut på Sundance Film Festival förra året, utan Affleck är favoriten att få Globe för bästa skådespelare i ett drama.
Filmen är också nominerad till bästa manus, bästa regissör, bästa filmdrama, och hans medstjärna Michelle Williams är redo för bästa stödjande skådespelerska.
Hon spelar Afflecks ex-fru och erkänner att hon "bröstade i tårar" när hon fick rollen.
"Jag hade velat jobba med Kenny så länge", säger hon. "Casey och jag hade faktiskt läst för en pjäs med honom för flera år sedan. Jag var gravid med min dotter då. Bara att veta att det äntligen skulle hända, att vi alla skulle arbeta tillsammans, blev jag lite tårfull, ja.
"Det kändes som ett viktigt tillfälle när man vill ha något och det blir sant, även när man måste vänta länge.
"Casey och Kenny är bra män och mer än något annat är jag verkligen glad att se deras arbete och ansträngningar komma bra i detta syfte eftersom de förtjänar det. Casey såg ut som han bar världens tyngd på sina axlar när vi gjorde det. "
Dramat är en studie i sorg, och hur de tre huvudpersonerna, som spelas av Williams, Affleck och Lucas Hedges som Lees brorson Patrick, hanterar sina förluster.
Affleck håller med om att "det fanns ljusa fläckar i upplevelsen" och "mycket ljus i filmen", men medger att det var en "krävande roll".
"Att prata om att agera låter så dyrbart och pretentiöst, det är nästan outhärdligt, men det krävdes mycket känslomässigt - att dyka upp där, och att kunna vara mycket upprörd och ledsen och torterad, men ändå hålla allt, och hålla det hårt."
Kenneth Lonergan har fått kritik för att han inte har gett ett så kallat "Hollywood-svar" på lidandet och kallat sådana historier för "ohederliga fantasier".
"Ingen behöver mig för att berätta för någon att det verkliga livet kan vara svårt nog utan att titta på något som säger dig att allt kommer att bli bra, och med tiden kommer du att förstå om livets cirkel och all denna palaver", säger han. "Men att se min egen upplevelse reflekteras tillbaka på mig hjälper mig och får mig att känna mig mindre ensam. Det sentimentala tillvägagångssätt som är så vanligt är fusk."
Michelle Williams anser dock att Manchester vid havet erbjuder "en strimma av hopp" i sin beskrivning av sorg.
"Jag tror slutligen en av de saker filmen handlar om är uthållighet. Efter svåra tider måste man hitta sätt att hålla sig till livet och till människor, även när man känner att det inte finns något hopp. Det finns alltid en glimt, jag tror att det är vad filmen erbjuder, en glimt av hopp."
Manchester by the Sea släpps i Storbritannien den 13 januari. Gyllene Globe äger rum den 8 januari.
Följ oss på Facebook, på Twitter @BBCNewsEnts, eller på Instagram på bbcnewsents. Om du har en berättelse förslag e-post underhållning.news@bbc.co.uk.
Golden Globe nominerad skådespelare Casey Affleck säger att han "fick tur" att få sin roll i dramat Manchester vid havet - efter att ha ersatt sin vän Matt Damon i sista minuten.