Den islamiska statsgruppen (IS) tillfångatog Qaraqosh över en natt efter tillbakadragandet av kurdiska styrkor.
IS har vunnit terräng i norra Irak sedan juni och kontrollerar också en del av Syrien.
USA har varnat för att situationen för Iraks minoritetsgrupper hotar att bli en "humanitär katastrof".
`Vi är djupt oroade för deras hälsa och säkerhet," sade Vita huset talesman Josh Earnest.
Men han vägrade att bekräfta en New York Times rapport att USA överväger flyganfall för att hjälpa Yazidi samhället, en annan minoritetsgrupp i norra Irak som har varit måltavla för IS.
Omkring 50.000 Yazidis tros ha fångats i bergen efter att ha flytt staden Sinjar - även om FN säger att några av dem nu har räddats.
FN:s säkerhetsråd kommer att sammanträda vid ett krismöte senare på torsdag för att diskutera situationen.
Tiotusentals religiösa minoriteter har tvingats fly sedan IS, en sunnimuslimsk grupp som tidigare var känd som Isis, inledde sitt angrepp.
IS säger att den har skapat en islamisk stat på det territorium som den kontrollerar.
Andra utvecklingstendenser:
En majoritet av Nineves invånare lämnade sina hem över en natt, enligt Fraternite en Irak, en internationell kristen organisation baserad i Paris.
Så många som 100.000 människor tros vara på flykt mot den autonoma Kurdistan regionen.
Påven Francis har ivrigt vädjat till världssamfundet att göra mycket mer för att ta itu med krisen.
I ett uttalande från Vatikanen sades det att påven hade vädjat om att "all nödvändig hjälp" skulle ges till dem som tvingades fly sina hem, "vars öde helt och hållet beror på andras solidaritet".
Minoritetsgruppen International har varnat för att Iraks multietniska framtid nu är allvarligt hotad.
Kurdiska styrkor, kända som Peshmerga, har kämpat mot IS militanternas framsteg i veckor.
Peshmergas befälhavare i Qaraqosh berättade för stadens ärkebiskop sent på onsdagen att styrkorna övergav sina poster.
Flera äldre präster i Nineve bekräftade att staden hade fallit.
"Det är en katastrof, en tragisk situation: tiotusentals skräckslagna människor fördrivs medan vi talar", sade Joseph Thomas, den kaldeiska ärkebiskopen i norra staden Kirkuk.
Ögonvittnen i Qaraqosh sade att IS militanta var att ta ner kors i kyrkor och bränna religiösa manuskript.
Staden - kallad Iraks kristna huvudstad - ligger 30 km sydost om staden Mosul, som erövrades av IS i juni.
Förra månaden, hundratals kristna familjer flydde Mosul efter islamistiska rebeller gav dem ett ultimatum för att konvertera till Islam, betala en särskild skatt eller avrättas.
Irak är hem för en av världens äldsta kristna samhällen, men antalet har minskat i takt med det växande sekteristiska våldet sedan den USA-ledda invasionen 2003.
Kristna
Ordförande
Irak: minoriteterna i Nineve
Yazidi ögonvittne: "De vill slakta oss"
Under tiden, FN sade att det mobiliserade resurser för att hjälpa Yazidis räddade från Mount Sinjar under de senaste 24 timmarna.
Medlemmar av det antika kurdiska etnoreligiösa samhället sökte skydd där under helgen.
Nästan 200 000 civila har fördrivits från staden Sinjar, FN:s kontor för samordning av humanitära frågor har varnat.
De som är fångade på berget står inför uttorkning, och 40 barn uppges redan ha dött.
"Detta är en tragedi av enorma proportioner som påverkar hundratusentals människors liv", sade FN:s talesman David Swanson.
"Många av de fördrivna är i omedelbart behov av nödvändiga livräddande humanitära saker, inklusive vatten, mat, husrum och medicin."
Upp till en fjärdedel av Iraks kristna rapporteras vara på flykt efter att islamiska militanter grep minoritetsgruppens största stad.