De fyra nationella fotbollsförbunden kunde inte enas om att skicka brittiska lag till Rio.
Sampson, som ledde England till en bronsmedalj vid VM 2015, beskrev situationen som "frustrerande".
"Jag har sett turneringen och jag tror att detta lag skulle ha vunnit guldmedalj", sade han.
"Denna grupp av spelare har förtjänat rätten att gå till en OS och representera sig själva och sitt land, men det har tagits bort från dem".
England kapten Steph Houghton, som gjorde tre mål i London 2012 för Storbritannien, tillade att det var "mycket besviken" att inte gå till Rio.
"Det var ursprungligen vår plats - platsen som vi vann vid VM, och det är svårt, men samtidigt är det ingen mening med att klaga vi inte kan vara där," tillade hon.
Englands fotbollsförbund hade lagt fram idén om att skicka brittiska lag till OS, men Fifa sade att det skulle behöva godkännande från de styrande organen i Skottland, Wales och Nordirland, som var emot det.
Stewart Regan, Scottish Football Associations verkställande direktör, har varit bland dem som uttrycker oro över att ett brittiskt lag skulle hota hemlandets separata status vid framtida internationella turneringar som VM.
Storbritannien kunde ha vunnit ett annat olympiskt guld om kvinnornas fotbollslag hade fått tävla, tror Englands huvudtränare Mark Sampson.