Michael Gove sa att hans beslut att trotsa sin vän och allierade premiärministern och tillbaka ledighet kampanj var den svåraste av hans karriär.
Men han sade att EU hade "visat ett misslyckande på så många fronter" och han kände sig tvungen att sätta sina politiska övertygelser före sin lojalitet mot statsministern.
Han är den mest uppmärksammade ministern att förklara för ut hittills.
Fyra andra ministrar - Iain Duncan Smith, Chris Grayling, John Whittingdale och Theresa Villiers - har anmält sig till kampanjen Leave.
Home Secretary Theresa May - som hade hoppats att kampanjdeltagarna skulle ansluta sig till deras sak - har stött kampanjen för att stanna kvar i EU.
I ett utdraget uttalande om hans skäl för att delta i ledighetskampanjen sade Gove: "Jag tror att vårt land skulle bli friare, rättvisare och bättre utanför EU. Och om jag nu inte sa vad jag tror, skulle jag inte vara trogen min övertygelse eller mitt land.
"Genom att lämna EU kan vi ta kontroll. Vi kan verkligen visa resten av Europa vägen till framgång.
"I stället för att knota och klaga på saker som vi inte kan förändra och bli förbittrade och bittra kan vi skapa ett optimistiskt, framåtblickande och genuint internationalistiskt alternativ till den väg som EU går."
Han sade att han hade brottats i veckor "med det svåraste beslutet i mitt politiska liv".
"Jag uppmuntrades att stå för parlamentet av David Cameron och han har gett mig möjlighet att tjäna i vad jag anser är en stor, reformerande regering.
"Jag tycker att han är en enastående premiärminister. Så vitt jag kan se finns det bara en viktig fråga som vi har skiljt oss åt i. Och det är Storbritanniens framtid i Europeiska unionen.
"Det smärtar mig att behöva vara oense med premiärministern i alla frågor. Min instinkt är att stötta honom genom goda och dåliga tider.
"Men jag kan inte undvika det val som premiärministern har gett oss alla."
Gove sade att det var "svårt att överdriva i vilken utsträckning EU är ett hinder för ministrarnas förmåga att göra de saker som de valdes att göra, eller att använda sitt omdöme om det rätta tillvägagångssättet för folket i detta land".
Han sade att det bästa alternativet för Storbritanniens framtida säkerhet var att ta itu med påståendena från fru May och premiärministern om att stanna kvar i EU och sade: "Snart från att tillhandahålla säkerhet i en osäker värld har EU:s politik blivit en källa till instabilitet och osäkerhet."
Kenneth Cameron har varnat för att det skulle vara ett "lycka i mörkret" att lämna Europeiska unionen, eftersom han uppmanade väljarna att stödja sitt reformavtal.
Statsministern sade: "De som vill lämna Europa kan inte tala om för er om brittiska företag skulle kunna få tillträde till EU:s inre marknad för frihandel, om de arbetande människornas jobb är säkra, eller hur mycket priserna skulle stiga. Allt de erbjuder är en risk i en tid av osäkerhet - ett språng i mörkret."
Goves beslut välkomnades av kampanjdeltagarna, och UKIP:s ledamot Roger Helmer tweetade: "Det ser ut som om Michael Gove kommer att driva en kampanj för #Brexit. Bra gjort den mannen. Modiga och principfasta."
Under de senaste dagarna har det förekommit allt fler spekulationer om att Gove skulle argumentera för en EU-exit, med vissa kommentatorer som antyder att han inte skulle leda kampanjen.
Lämna kampanjdeltagarna har satt sitt hopp till att få ett stort namn att gå upp mot Cameron - med London Mayor Boris Johnson, som ännu inte har avslöjat vilken sida han kommer tillbaka, fortfarande deras främsta mål.
Justitieminister Michael Gove har sagt att Storbritannien skulle vara "friare, rättvisare och bättre utanför EU".