Napo, som representerar övervakare, sa att det förstod Stanley kniven försvann på HMP Northumberland för två veckor sedan, men ingen nedstängning eller sökning beordrades.
Det kommer en vecka efter det att oron för säkerheten i fängelset väcktes.
Sodexo Justice Services, som tog över anläggningen 2013, sade att alla lämpliga säkerhetsförfaranden följdes.
Mike Quinn, från Napos avdelningskontoret i Northumberland, sade: " Rapporten om en kniv som potentiellt kan ligga i händerna på en fånge är djupt oroande.
"Om det är sant, bekräftar det bara det svåra tillståndet i fängelset, och har stora säkerhetskonsekvenser för personal, besökare och fångar.
"Vi skulle upprepa samtal som gjordes förra veckan för en omedelbar inspektion av fängelset."
Justitieministeriet sade att eftersom det var ett privatiserat fängelse, var det upp till Sodexo att kommentera.
En talesman för Sodexo sade: "Alla lämpliga säkerhetsförfaranden följdes - för att föreslå något annat är helt enkelt inte sant."
En kniv är fortfarande "oredovisad" vid ett privatiserat fängelse, har en fackförening hävdat.