John Vine sa att gruppen, typiskt utländska studenter, växer i antal.
I sitt betänkande varnade han för att invandringstjänstemännen inte visste hur många av dem som hade blivit tillsagda att lämna Förenade kungariket faktiskt hade lämnat landet.
Invandringsminister Damian Green skyllde på den förra regeringen - men Labour sa att rapporten var fördömande.
Den senaste rapporten från inspektören fokuserar på ett tidigare okänt problem i UKBA, som gäller personer från länder utanför Europa som har tidsfrister för att lämna Storbritannien.
Många av dessa människor är studenter och om de inte ger sig av när de blir tillsagda att göra det, läggs de till i gruppen för migrationsvägran (MRP).
"Det finns över 150 000 fall nationellt av migranter som har vägrats en förlängning av vistelsen i Storbritannien", säger Mr Vine.
– Byrån vet inte hur många av dessa personer som har lämnat landet eller väntar på att tas bort.
"Jag såg inte heller några bevis på att det finns en tydlig plan för byrån att hantera denna ström av arbete för att se till att detta inte blir ännu en eftersläpning.
"Jag tror att den kan och måste göra mer för att visa att den hanterar denna fråga på ett mer proaktivt sätt."
Enligt rapporten hade antalet ärenden om ömsesidigt erkännande ökat från 153 000 i oktober förra året till nästan 16 000 i mitten av december.
Vine sade: "Byrån behöver mycket mer effektiv planering för att hantera denna ström av arbete för att se till att personer som fortfarande är kvar i Förenade kungariket inte har rätt att vara här, samtidigt som man fastställer tydliga prestationsmål för att hantera dessa fall mycket mer effektivt."
Invandringsminister Damian Green sade "Under den senaste regeringen fanns det ingen effektiv strategi på plats för att säkerställa migranter kvar i slutet av sin tid i Storbritannien. UK Border Agency arbetar nu genom en grupp potentiella övervistelser för att identifiera dem som inte har lämnat landet.
"Detta inkluderar att kontrollera passageraruppgifter med hjälp av vår e-gränsdatabas som nu omfattar alla flygningar utanför Europa.
"I sommar lanserade UKBA en brittisk verksamhet för att ta bort överboende och vi har redan sett 1.800 flytter sedan kampanjen startade."
Men skugghemssekreterare Yvette Cooper sa att koalitionen "flörtade med olaglig invandring".
"Den fördömande slutsatsen från regeringens egen immigrationsinspektör har kommit fram till att regeringen ger en mycket låg prioritet åt att hitta och ta bort personer som har vägrats tillstånd att stanna.
"Vi har haft ett fiasko av gränsskandalen, där inrikesministern har erkänt att hon inte vet hur många människor som kom in utan checkar. Vi har nu stora köer på våra flygplatser på grund av dålig förvaltning och nedskärningarna till nästan 900 brittiska gränsstyrkan personal. "
Den brittiska gränsbyrån har ingen "klar strategi" för att hantera en grupp på mer än 150 000 utländska medborgare som stannar kvar efter det att viseringen har löpt ut, säger gräns- och invandringsinspektören.