En rapport efter en oanmäld inspektion sade det totala antalet självskador på HMP Woodhill var också "mycket hög".
Det sades att fängelsets reaktion på dödsfallen hade "bristande stränghet".
National Offender Management Service sa att en ny guvernör "arbetade hårt" för att förbättra saker och ting.
Högsäkerhetsfängelset, som huvudsakligen används för att hålla häktade, nyligen dömda och kortvariga fångar, inspekterades i januari.
Enligt rapporten var antalet registrerade övergrepp "mycket högt och dubbelt så stort som inspektörerna har sett i andra lokala fängelser".
Men det stod "den allmänna miljön i fängelset var bra" och login var "rimlig".
Nick Hardwick, överinspektör för fängelser, sade: " Woodhill är ett fängelse som har stor potential, särskilt när det gäller de resurser som står till dess förfogande.
"Men, som vi rapporterade förra gången, resultat för fångar förblev oroande och några var mycket besviken."
Michael Spurr, chef för National Offender Management Service, sade guvernören och hans personal hade en "unik uppsättning utmaningar".
"Woodhill håller några av de svåraste och mest störande män i fängelset," sade han.
Guvernören och hans personal arbetar hårt för att minska våldet och förbättra rehabiliteringen.
Inspektörerna har uttryckt oro över antalet självmord i Buckinghamshire-fängelset, efter fyra "självförvållade dödsfall" förra året.