Fosterföräldrarna säger att "inga diskussioner" ägde rum mellan dem och rådet innan barnen togs bort.
Barnen - som är europeiska invandrare - togs bort av socialarbetare som anklagade det namnlösa paret för att tillhöra ett "rasistiskt parti".
Rådsledaren Roger Stone sa att den skulle inleda en omedelbar utredning.
BBC förstår att de tre barnen alla är under 10 och ett är ett barn.
Utbildningssekreteraren sa att "fel beslut" fattades "på fel sätt av fel skäl".
Från Alan SoadyPolitical korrespondent, BBC News
Det har varit ett utbrott av överenskommelser från de viktigaste parterna om principen att vara medlem i en politisk organisation som UKIP inte bör hindra någon från att betraktas som en fosterförälder. Michael Gove kallade det "oförsvarligt". Ed Miliband sade att det skulle "inte vara en bar", distansera sig från det beslut som fattats av Labour-run Rotherham Borough Council.
Den undersökning som regeringen och rådet har tillkännagivit kommer att syfta till att fastställa omständigheterna i detta särskilda fall.
Men politiskt sett kommer det att bli intressant att se om det har någon betydelse för den politiska kampanjen inför torsdagens val till parlamentet i Rotherham.
Han tillade att avdelningen för utbildning, under hans ledning, skulle "fråga de nödvändiga frågorna" för att avgöra vad som hände i detta fall.
Tjänstemän från avdelningen anses försöka ta kontakt med barntjänster motsvarigheter i Rotherham Metropolitan Borough Council.
Gove sade till BBC: "Det är helt fel att detta par har behandlats på detta sätt. Det är därför jag tror att vi behöver en fullständig förklaring från de lokala myndigheterna om varför detta beslut tilläts fattas.
"Om vi säger att du inte kan fostra barn för att du är medlem i ett politiskt parti eller för att du har åsikter om mångkulturalism så är det helt fel.
"Detta beslut är godtyckligt, ideologiskt och oförsvarligt."
Utbildningssekreteraren tillade att regeringen lade fram nya lagar i barn- och familjelagen för att vända den nuvarande positionen, som tar hänsyn till etniska och kulturella faktorer när barn ska adopteras.
"Vi vill klargöra att ni inte bör tillåta ideologiska frågor att utesluta det som är i barnets bästa intresse."
Rotherhams kommunfullmäktige Paul Lakin, kabinettsledamot för barn, ungdomar och familjer Services har beordrat en omedelbar utredning.
Han sade: " Medlemskap i ett politiskt parti bör inte hindra någon som fostrar barn. Rådet tar sitt skyddsansvar på största allvar och sätter alltid barnens behov i centrum för den vården."
Lakin tillade att han ville ha rapporten på sitt skrivbord i måndags förmiddag.
Under tiden sade kommissionen för jämställdhet och mänskliga rättigheter (EHRC) att beslutet kan ha överträtt föräldrarnas rätt till politisk åsiktsfrihet. Det välkomnade rådets beslut att undersöka vad som hade hänt.
Rådets strategiska chef för barn- och ungdomstjänster, Joyce Thacker, försvarade tidigare beslutet och sade att det påverkades av UKIP:s invandringspolitik.
Hon sade: " Jag har juridiska råd som jag måste följa för placering av barn, och jag blev kritiserad tidigare för att jag inte såg till att deras kulturella och etniska behov uppfylldes.
"Om till exempel partimantrat gör slut på det aktiva främjandet av mångkulturalism måste jag tänka på det... Jag måste tänka på deras långsiktiga behov.
Thacker tillade att hon inte ansåg UKIP vara ett rasistiskt parti, men sade att det hade en "mycket tydlig" invandringspolitik som hon inte kunde bortse från.
KÄLLA: UKIP:s webbplats
Det namnlösa paret i slutet av 50-talet, som har varit godkända fosterföräldrar i sju år, hade åtta veckor på sig när de kontaktades av socialarbetare om sitt medlemskap i partiet.
BBC: s Robin Brant rapporterar att UKIP källor säger att paret har varit medlemmar i partiet i "över tre år" och att Rotherham Metropolitan Borough Council var "tipped off" om deras medlemskap.
Och paret visste först att det fanns problem kring deras fortsatta fostran den 14 november.
Frun berättade för BBC att hon trodde att beslutet hade tagits "innan socialarbetaren besökte oss personligen för att berätta för oss att barnen togs bort eftersom vi var UKIP-medlemmar".
Hon insisterade på att de kände att de uppfyllde de tre barnens kulturella behov.
"Vi uppmuntrade aktivt dessa barn att tala sitt eget språk... vi njöt av att sjunga en av deras folksånger på deras modersmål.
"Efter att ha fått höra om dessa barns religiösa samfund - vidtog vi åtgärder för att se till att en skola av deras samfund hittades.
"Barnen har nu placerats hos familjer som är vita britter, därför hur ska dessa människor möta barnens kulturella behov?" tillade hon.
UKIP:s invandringspolitik säger att partiet vill ha ett "slut på att aktivt främja mångkulturella doktriner av lokala och nationella myndigheter" och uppmanar Storbritannien att lämna Europeiska unionen (EU).
Partiets ledare, Nigel Farage, sade att han var "mycket upprörd och mycket arg" över beslutet och uppmanade till "huvuden att rulla" i rådet.
Han tillade: " Detta par... har fostrat i många år och är mycket anständiga människor. Detta var en fruktansvärd chock för dem, för att inte tala om de upprörda för barnen själva."
Han anklagade också det arbetarkontrollerade rådet för trångsynthet för sitt parti.
Tidigare uppmanade Labourledaren Ed Miliband rådet att snarast undersöka omständigheterna i fallet.
Han insisterade: " Att vara medlem i UKIP bör inte vara en bar för att adoptera eller fostra barn.
"Vi måste ta reda på fakta och rådet måste omgående gå till botten med exakt vad som hände.
"Det finns tusentals barn som behöver tas om hand, som behöver fostras, vi bör inte ha den situation där medlemskap i ett parti som UKIP utesluter dig från att göra det."
Robert Tapsfield, chef för Fostering Network, sade att beslutet verkade "mycket konstigt" med tanke på att rådet såg paret som en bra standard på vård.
Han sade att placeringen av fosterbarn inte bör påverkas av deras politiska tillhörighet.
Michael Gove har stämplat ett beslut av Rotherham Council att ta bort tre barn från ett fosterpar eftersom de tillhör UKIP som "oförsvarlig".