Fångars nöd, självskador och självmordsförsök ses alltför ofta som tecken på manipulation, snarare än sårbarhet, forskning vid Centre for Mental Health och Howard League for Penal Reform som hittats.
Ett rekordstort antal fångar tog livet av sig under 2016, siffror har visat.
Regeringen sa att en intern utredning om dödsfall i häktet pågick.
I rapporten från de två välgörenhetsorganisationerna, som bygger på intervjuer med vårdpersonal som arbetar i fängelser, konstaterades att majoriteten av fångarna har många och komplexa behov, inklusive dålig psykisk hälsa.
Men många får inte tillgång till psykiskt stöd.
I rapporten hävdas att personalbrist, en "toxisk" arbetsmiljö och underlåtenhet att erkänna fängelsets inverkan på både fångar och personal bidrar till en "osäker miljö".
Kommittén rekommenderar tre steg för att hjälpa fängelserna att övergå från en "främst straffinriktad strategi" till en kultur som är inriktad på välbefinnande, återhämtning och rehabilitering:
Sarah Hughes, chef för Centre for Mental Health, sade: "Vi måste åstadkomma en kulturförändring i fängelser som sätter säkerheten överst på agendan, som förstår trauman både fångar och personal alltför ofta lever med, och det innebär att människor får rätt hjälp när de behöver det."
Förra månaden sade justitieministeriet att det var 119 självförvållade dödsfall i fängelser i England och Wales 2016 - 29 fler än föregående år och det högsta antalet sedan rekord började 1978.
Frances Crook, chef för Howard League for Penal Reform, sade att det var "tid för handling".
Hon tillade: "Ingen bör vara så desperat när han vårdar staten att de tar sitt eget liv.
"Personer som arbetar i fängelser ska aldrig känna sig så pressade att de inte kan stanna och lyssna."
En taleskvinna från regeringen sade: " Det finns nu ökat stöd för dem som löper risk att utsättas för självskador eller självmord, särskilt under de första 24 timmarna, och vi har investerat i utbildning i mental hälsa för personalen.
"En intern utredning pågår också för att undersöka alla dödsfall i häktet under det senaste året, för att öka vår förståelse för varför dessa händelser inträffar."
Fängelser i England och Wales behöver en "framgångsrik kulturförändring" som fokuserar på internernas säkerhet, säger en ny rapport.