Efter att ha deltagit i London 2012 kunde de fyra nationella fotbollsföreningarna inte enas om att skicka ett brittiskt kvinnolag till Rio Games.
En plats förtjänades av England som avslutar tredje i 2015 års VM.
"Att tacka nej är en stor skam. Det är något vi kan titta på i framtiden och försöka tävla i, "Allardyce berättade BBC 5 lives Sportsweek.
"När du ser glädje på Justin Rose ansikte efter att ha vunnit guldmedalj i golf visar det vad allt betyder."
Englands fotbollsförbund hade lagt fram idén om att skicka brittiska lag till OS, men Fifa sade att det skulle behöva godkännande från de styrande organen i Skottland, Wales och Nordirland, som var emot det.
De andra hemländerna fruktar ett sådant drag kan påverka deras oberoende ställning inom idrottens världsstyrande organ, Fifa, och vid internationella turneringar som VM.
Team GB gick in i mäns och kvinnors sidor i London 2012, med Stuart Pearce coaching den förra och Hope Powell den senare. Båda lagen slogs ut i kvartsfinalen.
För europeiska nationer är kvalet till OS fotbollstävlingen via Uefa Under-21 Championships för män och VM för kvinnor.
England var den enda hemmanationen som tävlade vid mästerskapen under 21, men misslyckades med att säkra den nödvändiga halvfinalen.
British Olympic Association vice ordförande och före detta idrottsminister Sir Hugh Robertson anser att politik i synnerhet har förnekat kvinnors spel en perfekt plattform för att bygga vidare på det intresse det fick i London 2012.
Totalt 154.998 personer visade sig titta på de fyra Team GB kvinnomatcher för fyra år sedan.
"Från den brittiska olympiska kommitténs perspektiv, skulle vi gärna se Team GB fotboll," Robertson berättade Sportsweek.
"Det är särskilt ett kraftfullt verktyg för att främja kvinnors spel.
" Tragedin är att politik fotbollsadministratörer påverkar idrottare eftersom kvinnor fotbollsspelare skulle vilja vara på OS."
Englands manager Sam Allardyce skulle välkomna Team GB att gå in i fotbollslag vid framtida olympiska spel.