Internationella rödakorskommittén (ICRC) har varit tvungen att stoppa leveranserna till Rödahavshamnen i Hudaydah.
Det sades att detta delvis berodde på att det inte hade fått några säkerhetsgarantier.
Hamnen har också angripits av krigsflygplan från en saudiarabisk koalition som stöder Jemens regering i dess krig med rebell Houthi-rörelsen.
FN:s försök att ta in fem kranar för att ersätta de skadade i attackerna har inte lyckats.
ICRC:s regionchef för Mellanöstern Robert Mardini varnade för att Jemen, som är beroende av import för 90 % av sin livsmedelsförsörjning, nu levde på sina "reserver" och att "dagen kommer att komma mycket snart" när de tar slut.
Han sade att trots fokus på skador och förluster orsakade av striderna, tusentals människor dog "tyst" av komplikationer på grund av undernäring, eller av mindre sjukdomar eller skador som inte behandlades vid 45% av de vårdinrättningar som fortfarande fungerar.
Konflikten, som trappades upp i mars 2015, har gjort att minst 7 500 människor har dött och 40 000 har skadats, enligt FN.
Men nästan 19 miljoner människor är i behov av någon form av humanitärt bistånd.
Sju miljoner människor vet inte var deras nästa måltid kommer ifrån och mer än tre miljoner, däribland 2,1 miljoner barn, lider av akut undernäring.
FN:s samordnare för katastrofhjälp, Stephen O'Brien, uppmanade de stridande parterna att garantera större tillgång till hamnar för att släppa in import av livsmedel, bränsle och läkemedel på måndagen.
Han berättade för BBC situationen var "mycket desperat", och att han hade sett barn så "allvarligt undernärda" att han fruktade att de inte skulle överleva en annan dag.
Tidigare denna månad vädjade FN om 2,1 miljarder dollar (1,7 miljarder pund) för att ge livräddande hjälp till 12 miljoner människor i Jemen under nästa år. Men den har hittills bara fått 43 miljoner dollar.
I tisdags tvingades O'Brien ställa in ett besök i staden Taiz, som belägras av rebellstyrkor, enligt uppgift efter det att hans konvoj blev beskjuten.
I en separat utveckling på tisdagen sade FN:s tjänstemän för mänskliga rättigheter att de hade bevis för rekryteringen av barnsoldater i Jemen, främst av grupper som var anslutna till Houthis.
Totalt lyckades FN verifiera rekryteringen av 1 476 barn, alla pojkar, mellan mars 2015 och slutet av januari 2017. Det sades dock att siffrorna sannolikt skulle vara mycket högre.
Hjälparbetare säger att strider i Jemen har gjort det praktiskt taget omöjligt att skicka humanitära förnödenheter till en viktig hamn när landet riskerar att svälta.