Mer nyligen, kvinnors fotboll svävade i popularitet efter nationens kvinnliga laget vann VM 2011 och olympiska spel silver 2012.
Nu letar rugbyfacket efter ett liknande genombrott i det nationella medvetandet, då Japan står värd för VM 2019.
I och med att de olympiska spelen hålls i Tokyo ett år senare, håller slutet av årtiondet på att formas till en stor idrottstid för Japan.
"Dessa två evenemang tillsammans innebär att de japanska medborgarnas intresse för idrott redan har ökat, och bör öka snabbt närmare händelserna," Koji Tokumasu, chef för Japan 2019 Rugby World Cup Organising Committee, berättar BBC News.
Han var nyligen i Storbritannien för sin nations vänner mot Skottland och Gloucester, där Japan spelade med uthållighet men förlorade båda matcherna.
Japan - känd som Cherry Blossoms eller Brave Blossoms - är traditionellt den starkaste rugby facket makt i Asien.
Men Tokumasu säger i Japan, där baseball är den mest populära sporten och fotboll andra, rugby facket släpar efter på ungefär 10: e plats.
– Detta är något vi måste arbeta med under de kommande sex åren, säger han.
"Vi vill närma oss våra befintliga fans - vi har redan några rugby fans i Japan, och aktivera dem för att sprida VM-meddelandet."
Han säger att denna hardcore fan-bas kan använda digitala medier för att publicera rugbyupplevelsen och spänningen kring sporten, inklusive spänningen i matchdagen.
De kommer också att kunna förklara intrång i sporten, inklusive poängsystem.
"Vi vill väcka intresse och passion i sporten genom att föra kvalitetsteam som Nya Zeeland till våra fans, som sedan kan förmedla budskapet till sin familj, vänner och kollegor", säger Tokumasu.
När Japan var värd för världsmästarna All Blacks tidigare i november, såldes de 25.000 biljetterna ut efter en halvtimme. Värdlandet, inte förvånande, förlorade det mötet, men det har spelats framgång i år.
Japan vann årets HSBC Asian Five Nations turnering, och även slå en Wales andra sträng laget på sommaren. Denna seger var deras första seger över en stor rugbynation på åtta decenniers försök.
För att visa att det inte var någon flake, de har också slagit USA och Kanada i år.  Dessutom denna månad Japan slog Ryssland, slog Spanien, och vann även 2013 HSBC Asian Rugby Sevens.
Den första etappen av 2019 förberedelse är redan på gång, med lanseringen av kriterierna för blivande VM värdstäder och arenor.
Arrangörer vill välja mellan 10 och 12 match arenor före mars 2015, för 48-spelet turnering.
– Anledningen till att vi valt det datumet är att vi vill att de framgångsrika värdarenorna ska kunna delta i årets VM i England för att se och uppleva hur evenemanget arrangeras, säger Tokumasu.
"För närvarande besöker vi städer och berättar för dem hur spännande värd 2019 World Cup kan vara för dem."
I Tokyo byggs en showpiece 80.000 kapacitet Olympic Stadium i tid för 2019 rugby händelse, och i andra matcharenor kommer lokala myndigheter att betala för arenor.
I många städer har stadion varit underutnyttjat sedan 2002 års VM. Tokumasu säger: "Vi skulle vilja att vi kunde använda några av dessa arenor, men vi kan inte tvinga dessa städer att delta - de måste uttrycka ett intresse."
Förutom att öka medvetenheten är ett annat viktigt mål före 2019 att öka deltagandet.
– Detta är ett viktigt mål, och vår regering stöder detta, de tycker att idrott är bra för hälsan, säger han.
"Vi ska ta rugby till grundskolorna, först gå in i 5000 skolor, och 2019 hoppas vi ha spridit ordet i alla 22 000 grundskolor.
"Pojkar och flickor kan lära sig tillsammans och vi kommer att introducera tag [touch] rugby, så att lärare inte kommer att oroa sig för att barn blir skadade.  Så 2019 kommer många ungdomar att veta allt om rugby."
Detta arbete bland de unga bör bredda basen för nästa generations rugbyspelare i ett land där 95 % av deltagarna är universitetsutbildade.
Rugby spelar är också mycket sammanflätad med toppen av företagets arbetsplats,
I den främsta inhemska tävlingen, Top League, är klubbarna ägs av stora japanska företag som Toshiba eller Panasonic, och när en spelares karriär kommer till ett slut, de tar sedan vanligtvis upp en ledarroll med moderbolaget.
Regeringen vill också se människor delta som evenemangsvolontärer, efter ett framgångsrikt program vid 2002 års globala fotbollsevenemang, och före Tokyo 2020.
Men han betonar återigen att 2019 års arrangörer vill föra rugby till en bredare publik.
"I Japan tenderar människor att stanna hemma för att titta på det allra bästa av globala eller nationella sporter på TV eller internet, snarare än att faktiskt delta i live-evenemang - vi vill övervinna detta och locka människor till rugby spel," säger han.
"Vi kommer att skapa fler möjligheter för människor att delta i en match - vi vill verkligen göra det bästa av de kommande sex åren."
Fotboll - eller "socca" som japanerna kallar det - fick en boost i baseball-mad land av den stigande solen när VM hölls där 2002.