Miljöminister Mark H Durkan sade att borrning kan ha en betydande inverkan på miljön.
Tamboran Resources ville borra ett 750m djupt hål vid ett stenbrott i Belcoo med hjälp av tillåtna utvecklingsrättigheter.
Den gjorde ett uttalande om att den var "djupt oroad" av ministerns beslut.
Av John CampbellBBC Nyheter NI Economics & Business Editor
Tamboran hade tänkt borra med "beviljade utvecklingsrättigheter", vilket innebar att företaget inte skulle ha behövt ansöka om planeringstillstånd.
Ministern kunde bara lägga in sitt veto om han bedömde att arbetet sannolikt skulle ha "en betydande miljöpåverkan".
Och det är precis den position han har kommit fram till.
Tamboran måste nu göra en fullständig planering ansökan med en åtföljande miljöredovisning, en process som, konservativt, kommer att ta månader att slutföra.
Men det betyder inte att borrhålet inte så småningom kommer att borras.
Alternativt kan Tamboran vilja försöka få en rättslig prövning av beslutet, med argumentet att ministern inte har tolkat planeringsreglerna korrekt.
"Företaget ser för närvarande över sin position och kommer att släppa en ytterligare uttalande i sinom tid," Tamboran sade.
Tamboran måste nu göra en fullständig planeringsansökan med en åtföljande miljöredovisning.
På måndagskvällen höll demonstranterna en ekumenisk gudstjänst vid stenbrottets portar för att fira ministerns beslut.
Donal O'Cofaigh från Belcoo Frack Free välkomnade beslutet och sade att det kunde försena projektet avsevärt.
"Det är en stor lättnad, ministern har gjort rätt beslut," sade han BBC.
"Det här är första gången som vi kommer att få möjlighet att rådfrågas om detta. Detta är något som är av stor betydelse för lokalsamhället."
MP för området, Michelle Gildernew av Sinn FÃ©in, välkomnade också tillkännagivandet.
"Beslut att neka Tamboran att börja djupborra testborrning i Belcoo, Fermanagh, är rätt beslut med tanke på det tydliga motståndet mot fracking i området", sade hon.
Tamborans personal flyttade in i stenbrottet för tre veckor sedan och utförde arbete för att säkra platsen.
Protestörer som invände mot både fracking och gas prospektering hade hållit en permanent vaka vid stenbrottet.
Syftet med borrhålet var att kontrollera om det fanns tillräckligt med gas under marken för att motivera en licens för att starta en frackingoperation.
Protester sade att de fruktade ett borrhål kunde vara det första steget mot inrättandet av en industri som de tror kan skada miljön och hälsan hos lokalbefolkningen.
Borrhålsborrningsprocessen skulle inte ha inneburit frackning.
För närvarande, Sinn FÃ©in, SDLP och UUP säger att de motsätter sig fracking, medan DUP har sagt prospektering bör äga rum, och varje ansökan om extraktion bör bedömas vid den tidpunkten.
Förra veckan fördömde politikerna en bensinbombsattack som riktade in sig på en Tamboranarbetares familjehem i Letterbreen.
Anti-fracking demonstranter har firat ett beslut att blockera tillstånd för ett undersökande borrhål för skiffergas i County Fermanagh.