All Progressives Congress (APC) vann 19 av de 28 guvernörsposter i resultat som deklarerats från lördagens val.
Det är det största nederlaget för det folkdemokratiska partiet (PDP) sedan militärstyret upphörde 1999.
Den förlorade presidentvalet förra månaden för första gången.
APC ledare Muhammedu Buhari kommer att invigas den 29 maj, efter att han besegrade president Goodluck Jonathan.
PDP:s nedgång har förstärkts av resultat från lördagens val till guvernörer och statsförsamlingar, rapporterar BBC: s Bashir Saad Abdullahi från huvudstaden, Abuja.
Partiet förlorade för första gången i centrala nordliga stater som Katsina och Kaduna, den avgående vicepresidenten Namadi Sambos hem.
Den förlorade också kontrollen över Adamawa, en av tre stater som drabbats hårt av den militanta islamistiska gruppen Boko Harams uppror.
Men partiet lyckades hålla fast vid Rivers State, Nigerias oljenav.
PDP vann åtta guvernörsskepp, mestadels i sydost.
Taraba är det enda resultat som fortfarande är enastående, medan valet i Imo-staten förklarades ofullständigt, eftersom antalet bortskämda valsedlar var större än segermarginalen.
Val hölls inte i sju delstater.
Analys: Chris Ewokor, BBC Afrika, Abuja
APC har gjort historiska vinster genom att förvisa den en gång så mäktiga PDP till ett regionalt parti. PDP misslyckades med att få en nationell spridning av röster, och gjorde bra ifrån sig endast i sydöst och det oljerika Niger Delta. De flesta stater i norr gick till APC, tillsammans med Nigerias kommersiella nav, Lagos, i sydväst.
APC lyckades dock inte vinna i någon av Nigerias fem oljeproducerande stater. Detta kommer att vara av stor oro för den valda presidenten Muhammedu Buhari, eftersom militanta grupper skulle kunna störa oljeproduktionen och svälta den federala regeringen av välbehövliga oljeintäkter.  Det är osannolikt att PDP-guvernörerna i de fem staterna skulle hjälpa Gen Buhari rein i militanterna.
I delar av landet fördärvades valet av våld på grund av hård rivalitet och kampen om makt och pengar. Etniska skillnader underblåste också konflikten på vissa områden, men totalt sett har valet varit mer fredligt än under tidigare år, vilket väcker förhoppningar om att Nigerias demokrati håller på att mogna.
Varför Jonathan förlorade?
Buharis historiska seger
Nigerias 36 guvernörer har stora maktbefogenheter och är ytterst inflytelserika. Vissa, särskilt i oljeproducerande områden, kontrollerar större budgetar än de nationella regeringarna i vissa angränsande västafrikanska länder.
Den oberoende nationella valkommissionen (Inec) rapporterade 66 våldsincidenter vid vallokaler - högre än i presidentvalet.
Det mesta av våldet ägde rum i floder och andra sydliga stater, där röstningen vid vissa vallokaler måste utvidgas.
På söndagen meddelade Inec också att APC hade behållit makten i Lagos-staten.
Det betyder att när Gen Buhari tar över ordförandeskapet blir det första gången som presidentpartiet kontrollerar Lagos - handelskapitalet - sedan flerpartidemokratin tillkom 1999.
Vår korrespondent säger att PDP måste gå igenom en period av introspektion, och sedan återuppbygga sig själv under en ny ledare.
Partiet var vid makten i 16 år, och väljarna tyckte att det var dags för förändring, säger han.
Den hade drabbats av avhopp från guvernörer och parlamentsledamöter till APC inför valet.
PDP stod också inför utbredda anklagelser om korruption under sitt styre, och anklagades för att inte göra tillräckligt för att göra slut på en islamistisk-ledd uppror i nordost där den drabbades av enorma nederlag.
Partiet av Nigerias tillträdande president har vunnit en jordskred i val för mäktiga statsguvernörer, vilket avslutar det tidigare styrande partiets dominans.