Experter återmonterade bitar av plattor fann mitt i tonvis av jord från platsen känd för judar som Temple Mount och Muslims som Haram al-Sharif.
De säger att brickorna daterar sig från tiden för det andra templet, under kung Herodes'tid för omkring 2.000 år sedan.
Templet förstördes av romarna i 70 ANNONSEN under ett judiskt uppror.
Omkring 600 segment av färgat stengolv har hittats sedan arkeologer började undersöka spillrorna från kullen 2004.
Den platå där templen stod är den heligaste platsen i judendomen. Den åtföljs av den västra muren, som vördas av judar som en del av den ursprungliga stödmuren i tempelområdet.
Haram al-Sharif (Noble Sanctuary) är också den plats där muslimer tror att Profeten Muhammed steg upp till Himmelen, och är den tredje heligaste platsen i Islam.
Arkeologerna säger att plattorna troligen kom från portikos i templets förgårdar.
Genom att rota samman fragmenten "kan vi få en uppfattning om templets otroliga prakt", sade dr Gabriel Barkay vid Temple Mount Sifting Project.
Experter säger att de lyckades montera sju möjliga konstruktioner av hur golven kunde ha sett ut. Typen av golv är känd som opus sectile, latin för "klippa arbete", och "betraktas vara mycket mer prestigefyllda än mosaik kakelgolv", enligt Frankie Snyder, från projektets team.
"De kakel segment var perfekt inläggna så att man inte ens kunde sätta ett vass blad mellan dem", sade hon.
Temple Mount Sifting Project inrättades av israeliska arkeologer 2004 för att undersöka skräp som dumpades av islamiska myndigheter efter expansionsarbete i en underjordisk moské på anläggningen.
Projektet lockar tusentals besökare varje år som deltar i fingertoppar sökningar av jorden och har hittills dykt upp hundratals antika reliker, inklusive mynt, djur ben och bitar av keramik.
Arkeologer i Jerusalem säger att de för första gången har rekonstruerat troliga konstruktioner av ett bibliskt judiskt tempelgolv med hjälp av ursprungliga fragment.