Politikern, som hade säkrat sin plats 2011 genom listan röst, slog SNP kandidat rival Roderick Campbell med 3.465 röster.
Rennie fick 14,928 röster, en ökning med 15 % från 2011.
Han sa: "Det känns fantastiskt att ha vunnit tillbaka North East Fife för liberaldemokraterna. En stor majoritet på 3000 mot en nationalistisk flod."
Rennie tillade: "Det är ett fantastiskt resultat för liberaldemokraterna i nordöstra Fife."
I sitt segertal sade han att det hade varit en "positiv, upplyftande kampanj" och tillade: "Jag har haft mitt livs tid i denna kampanj."
Han dök upp på greven med två leksakssvin i handen, en hänvisning till en fotomöjlighet på gården medan ute på kampanjstigen.
Alex Cole-Hamilton, av liberaldemokraterna, vann också Edinburgh Western från SNP, med 16,645 röster - en 42% andel.
Festen höll också bekvämt både Orkney och Shetland.
Scottish Liberal Democrat ledare Willie Rennie har tagit Fife North East plats från SNP.