Mediauppspelning stöds inte på den här enheten
GB hade öppnat sin kampanj med en bekväm 31-7 seger över Kenya, Dan Bibby (2), Dan Norton, Phil Burgess och Mark Bennett alla poäng.
Mot Japan - som störde gemensamma favoriter Nya Zeeland 14-12 - GB ledde djupt in i slutskedet.
Men Japan gjorde ett tredje försök, bara för att missa en konvertering att dra med tiden.
Mediauppspelning stöds inte på den här enheten
Nya Zeeland - som kommer att vara utan Sonny Bill Williams för resten av turneringen efter att han delvis bröt en Akilles sena - studsade tillbaka från sin chock öppning förlust till Japan för att slå Kenya.
Augustine Pulu gjorde 11 poäng, inklusive tre omvandlingar, som All Blacks återhämtade sig från conceded ett försök inom den första minuten för att vinna 28-5.
Team GB bara upprätthöll sin 100% start på turneringen när de träffade Japan, James Rodwell poäng två gånger och Marcus Watson lägga till en annan med kapten Tom Mitchell konvertera alla tre försök.
Japanerna kunde ha ritat efter den sista hooter när Lomano Lemeki korsade för Japans tredje försök, men Katsuyuki Sakai missade den knepiga drop-goal omvandlingen.
Storbritannien möter Nya Zeeland kl 16:30 på onsdag i sista matchen i Pool C.
De två översta sidorna i var och en av de tre poolerna går in i kvartsfinalen, plus de två bästa tredjeplacerade lagen.
Mediauppspelning stöds inte på den här enheten
Känner du dig inspirerad att försöka? Här är vår hjälpsamma guide.
Storbritanniens män gjorde det två segrar från två i OS sju när de kantade förbi Nya Zeelands erövrare Japan 21-19 i en thriller i sin andra match.