Fängelseinspektörerna upptäckte att den genomsnittliga vistelsetiden vid anläggningen nära Gatwicks flygplats hade ökat från 28 till 48 dagar.
Tjugotre personer hölls i mer än ett år.
Inrikesministeriet sade att den inte ville kvarhålla människor längre än nödvändigt, men några hade förlängt processen.
Brook House har nästan 400 vuxna asylsökande, illegala invandrare och utländska gärningsmän.
Trots att inrikesministeriet förra året drev på för att minska antalet personer som kvarhölls kunde inspektörerna inte fastställa varför interneringsperioderna hade förlängts.
I rapporten tillades att vissa fångar vid G4S-centret hade hållits under alltför långa perioder på grund av "oskäliga förseningar i invandringens beslutsfattande".
Peter Clarke, chefsinspektör för fängelser, sade att bristen på analys gjorde det "svårt att se hur fängelseperioder systematiskt skulle kunna minskas och de oundvikligen negativa resultaten för fångar mildras".
En 2016 Home Office översyn sade färre människor bör kvarhållas i invandringscentra, samtidigt påpeka att varje plats kostar 34.000 pund per år.
Som svar på betänkandet sade en talesman: "Fängelse är ett viktigt verktyg som hjälper oss att ta bort dem som inte har rätt att vara i landet och det är viktigt att detta genomförs med värdighet och respekt."
Men han sade att några av dem som hölls kvar hade försökt hindra avlägsnandet genom att underlåta att ge korrekt och aktuell information om sin identitet.
Han sade att de personer som lämnade häktet 2016, 64 procent kvar inom 29 dagar och 93 procent på mindre än fyra månader.
Centrumet bedömdes som "rimligt bra" när det gäller säkerhet, respekt, verksamhet och förberedelse för avlägsnande eller frigivning, men inspektörerna var oroliga för att bostadsenheterna "mycket nära liknade" ett fängelse.
Direktören för flyttcentret, Ben Saunders, sade att inspektörerna "rätt" hade identifierat den specialbyggda konstruktionen var skarp på vissa ställen, och G4S skulle arbeta med hemkontoret, som äger byggnaderna, för att mjuka upp miljön.
Brook House öppnade 2009 men ett år senare brännmärktes "fundamentalt osäker". En ytterligare rapport 2012 visade att det fortfarande fanns "betydande farhågor", men under 2013 såg inspektörerna varaktiga förbättringar.
Fyra män har hållits fångna i mer än två år på Brook Houses flyttcenter, eftersom den genomsnittliga längden på interneringarna har ökat, en rapport har hittats.