En känslosam mr Key kallade det "det svåraste beslut jag någonsin tagit", och sa: "Jag vet inte vad jag ska göra härnäst."
Mr Key, en populär ledare, sade att det var ett personligt beslut, och senare förnekade media rapporter hans fru 32 år, Bronagh, hade gett honom ett ultimatum.
Han sa att han inte skulle söka en fjärde mandatperiod i valet 2017.
Vice premiärminister Bill English kommer sannolikt att ta över tills Nationalpartiet innehar en caucus att välja en ny ledare.
Key gjorde överraskningsmeddelandet under sin presskonferens varje vecka. Han fastställde ett datum den 12 december för den formella avgången.
Han sade att hans arbete krävde stora uppoffringar "från dem som är kärast för mig" och att hans barn hade klarat av "en extraordinär nivå av intrång".
"Allt jag kan säga är att jag gav det allt jag hade. Jag har inte lämnat något i tanken."
Med hänvisning till sin fru sa han till radioprogrammet Newstalk: "Vi pratade om det och hon gillar tanken på att jag var hemma mer men det fanns inget ultimatum."
Mr Key, som tidigare var på Merrill Lynch som valutahandlare, slutade nio år av Labour Party-styret 2008 då han avslog Helen Clark som premiärminister.
Han vann en tredje mandatperiod för Nationalpartiet i valet i september 2014.
Oppositionen Labourledare Andrew Little sade Mr Key "har tjänat Nya Zeeland generöst och med hängivenhet. Jag önskar honom och hans familj det bästa för framtiden."
Green Partys medledare Meteria Turei önskade honom också lycka till.
"Jag kämpade varje dag mot Johns politik men stödde alltid hans rätt att vara pappa och make först", twittrade hon.
Känd av de lokala medierna som "Teflon John" eftersom mycket lite kontroverser har hållit fast vid honom under hans tid i ämbetet, är Mr Key krediteras med styr Nya Zeeland genom den globala ekonomiska krisen 2008 och ut ur recessionen.
Han har försökt att bygga närmare band med USA och tagit en ledande roll i att stödja president Barack Obamas Trans Pacific Partnership (TPP) - ett 12-landsavtal som täcker 40 procent av världsekonomin.
Men Donald Trump nyligen seger i USA har spårat ur den processen, med hans tillkännagivande USA skulle vara att sluta TPP på sin första dag i ämbetet i januari.
Australisk premiärminister Malcolm Turnbull, en nära politisk bundsförvant, sade att när han fick reda på Mr Keys avgång, skickade han ett sms och läste "säg att det inte är så".
Turnbull sade Nya Zeeland hade boxas över sin tyngd under Mr Keys ledarskap, och hans avgång kommer att vara "en stor förlust för Nya Zeeland och en stor förlust för världen".
Före detta Australiens premiärminister Tony Abbott spelade på sina två länders cricket rivalitet att säga att Mr Key hade haft en "bra innings".
"Inte många polliner drar sig tillbaka obesegrade på ett dubbelt ton," tweetade han.
Australian Opposition Leader Bill Shorten sade: "John Key har varit en god vän till Australien. Jag önskar honom och hans familj allt gott."
John Key har meddelat att han kommer att avgå som premiärminister i Nya Zeeland, efter åtta år i arbetet, med hänvisning till familjeskäl.