X Factors 13:e serie började i augusti med 8,5 miljoner tittare - fyra miljoner färre än 2010 års show.
Rösten kommer att flytta från BBC till ITV nästa år, även på en treårig affär.
Men TV-bolaget har kommit överens med Simon Cowell om att både X-faktorn och Storbritanniens Got Talent ska fortsätta på ITV till åtminstone 2019.
Cowell sa: "Jag vill tacka ITV för att ha fortsatt vara fantastiska partners. Jag är glad för showerna och särskilt för alla begåvade människor som arbetar med dem med oss."
Cowell kanske inte är domare för båda programmen, men enligt den nya överenskommelsen är han bara engagerad i att döma en av de två serierna per år.
ITV förhandlar för närvarande med Ant och Dec för att förbli värdar för Storbritanniens Got Talent under de kommande tre åren. Dermot O'Learys nuvarande kontrakt innebär att han kommer att fortsätta presentera X-faktorn till åtminstone 2019.
ITV: s chef för TV Kevin Lygo sade Storbritanniens Got Talent och X Factor var båda "stora, lysande, underbara shower" som skulle utgöra "en viktig del av vårt schema" för de kommande tre åren.
"De definierar shower för oss, som vi är mycket stolta över att ha som en del av vår underhållning skiffer, och de fortsätter år efter år, i månader i taget, att vara bland de mest populära och enormt underhållande format på TV," sade han.
X Factor är att stanna på ITV i åtminstone de kommande tre åren, trots minskande tittarsiffror och ankomsten av The Voice till kanalen.