GB slogs 24-18 av Israel, 37-14 av Ungern och 46-14 av Nederländerna.
Männens och kvinnornas lag hade sin £ 2,92m finansiering för att stödja elitidrottare bort efter London 2012.
"Även om vi inte göra finalen, det finns några stora unga handbollsspelare i detta land," sade British Handball regissör David Meli.
"Vårt mål nu är att hitta ett sätt att föra in ytterligare finansiering i föreningen så att vi kan köra andra lag i både manliga och kvinnliga tävlingar."
Nederländerna vann alla tre matcher för att säkra sin plats i finalen i Rio, som äger rum från 19 juli till 2 augusti.
Storbritannien misslyckades med att kvalificera sig för herrarnas Under-21 World Handball Championship efter att ha förlorat alla tre kvalmatcher i Kent's Medway Park.