Fram tills nu byråer som FBI hade inte behövt en fullmakt att använda maskiner som kallas cell-plats simulatorer som spårar lokaliseringen av telefoner i området.
Myndigheterna säger att de har varit ett viktigt verktyg i kampen mot brottsligheten.
Grupper av medborgerliga fri- och rättigheter har emellertid uttryckt oro över eventuella intrång i privatlivet.
De nya reglerna kommer att träda i kraft omedelbart och innebär också att "när utrustningen används för att lokalisera en känd cellulär enhet, måste alla data raderas så snart den enheten är placerad, och inte mindre än en gång dagligen".
"Dessutom klargörs i policyn att simulatorer på cellplatsen inte får användas för att samla in innehållet i någon kommunikation under brottsutredningar. Detta innebär att data som finns på telefonen själv, såsom e-post, texter, kontaktlistor och bilder, inte får samlas in med hjälp av denna teknik, "enligt justitiedepartementet.
Den amerikanska medborgarrättsunionen (ACLU) kallade de nya reglerna "ett positivt första steg".
"Men denna politik... gäller inte för andra federala myndigheter eller de många statliga och lokala polismyndigheter som har fått federala medel för att köpa dessa enheter," Nathan Freed Wessler, personal advokat på ACLU, sade.
ACLU har tidigare sagt att man har identifierat 53 byråer i 21 stater som äger utrustningen.
ACLU uttryckte också oro över att de nya reglerna anger att "det finns begränsade undantag i policyn för särskilda omständigheter" där en husrannsakan fortfarande inte kommer att behövas.
Genom att härma ett legitimt mobilt torn och lura varje telefon inom räckhåll att ansluta till dem, cell webbplats simulatorer "fånga" den internationella mobila abonnentnummer (IMSI) och elektroniskt serienummer (ESN) för varje och avslöja exakt var dess användare.
Kampanjdeltagarna säger därför att de är mycket svåra att använda på ett målinriktat sätt, eftersom tusentals människors mobiltelefoner sopas upp i detta dragnät när de används i tätorter.
Den amerikanska justitiedepartementet säger att federala myndigheter kommer att behöva få husrannsakan för att använda teknik som spårar mobiltelefoner under ny vägledning.