Inspektörer rapporterade en "markerad ökning" vid HMP Risley nära Warrington, Cheshire sedan dess senaste inspektion, av vilka några kanske inte har "justifierats".
I rapporten sades också att nya psykoaktiva substanser (NPS) var "undergrävande välbefinnande för fångar" och en femtedel av internerna ansåg att förhållandena var "osäkra".
Fängelseinspektör Peter Clarke sa att resultaten var "försämrande".
Rapporten från Hennes Majestäts fängelseinspektion följde på en oanmäld inspektion av fängelset - som rymmer 1115 manliga fångar - i juni.
Medan fängelset hade "en liknande variabel bild" till sin senaste inspektion 2013 var det "en viss försämring", konstaterade Clarke.
En inspektion 2011 visade också att användningen av våld i vissa incidenter i fängelset var "omotiverad".
Charles Clarke sade att det stora antalet fångar som känner sig osäkra var "tråkiga än jämförbara fängelser", även om våldsnivåerna var likartade.
Han tillade att även om "en del meningsfullt arbete utfördes" för att ta itu med den "allvarliga destabiliserande" frågan om NPS, allmänt känd som juridiska toppar, "nästan två tredjedelar av fångarna ansåg att det var lätt att få tag på narkotika".
Risley "var inte ett tillräckligt respektfullt fängelse", sade han.
Han lade till boendestandarder "varit mycket" och det fanns ett "behov av mer hygieniska förhållanden och bättre tillhandahållande av grundläggande bekvämligheter".
Fängelset "hade inte ett grepp om befolkningens behov av vidarebosättning, vilket var ett grundläggande misslyckande för ett vidarebosättningsfängelse", sade han.
"Bara 40 % av fångarna uppgav att de trodde att deras tid på Risley hade gjort dem mindre benägna att förolämpa.
"Fängelset måste gå tillbaka till de första principerna för att avgöra hur det bäst kan bedöma och vidarebosätta sina fångar."
Michael Spurr, chef för National Offender Management Service, sade att han hoppades att fängelsets nya guvernör skulle "utveckla regimen" i Risley.
– Den tidigare guvernören och hans personal har arbetat hårt för att förbättra säkerheten, ta itu med olagliga psykoaktiva droger och ge stöd till utsatta fångar, men det finns mer att göra.
"Den nya guvernören kommer med en imponerande meritlista och kommer att bygga vidare på sin föregångares arbete."
Ett fängelse har sett en fyrfaldig ökning i användningen av våld av officerare mot interner sedan 2013, en rapport har hittat.