I ett tal sa Ian Murray att partiet kunde inspireras av dominerande personer som John Smith, Donald Dewar och Gordon Brown.
Murray tillade dock att en ny generation nu måste vara ansvarig för att trygga partiets framtid.
Partimedlemmarna kommer att rösta på nya ledare i Holyrood och Westminster.
Skuggskotsk sekreterare har gett sitt stöd till skotsk ledare utmanare Kezia Dugdale, framför sin MSP rival Ken Macintosh.
Han stöder också Yvette Cooper för att bli nästa Labourpartiets ledare.
I sitt tal i Morningside Parish Church i Edinburgh sade han: " Våra lägsta poäng kan vara katalysatorn för våra största segrar.
"Vi kommer att välja en ny ledare inom några veckor och det hårda arbetet kommer att börja.
"Ett nytt team, ett nytt tillvägagångssätt, en ny generation. Jag ska spela min roll på alla sätt jag kan.
"En fest som hämtar inspiration från dem som gick före - Smith, Dewar, McConnell, Brown. Alla gjorde sitt eget unika och varaktiga bidrag till vårt parti och vårt land.
"Men det skotska Labourpartiet kan inte längre vända sig till de stora bestarna. Det faller på en ny generation att föra det skotska Labourpartiet framåt."
Under många år spelade skotska labour-personer en dominerande roll på den brittiska politiska scenen och i regeringen.
Gordon Brown, Alistair Darling, John Reid, listan fortsätter.
Men dessa siffror har sedan dess avgått från frontpolitiken, medan partiet har fallit för väljarna.
I dag samlades arbetarsupportrar i Edinburghs Morningside Church - där den tidigare arbetarledaren John Smiths begravning hölls för 21 år sedan - inte för att uppehålla sig vid det förflutna, utan för att se framåt.
Ian Murray, som nu är Skottlands enda arbetarparlamentsledamot, talade om för dem att medan arvet från dessa "stora djur" borde tjäna till att inspirera, måste partiet nu övergå till en ny generation av partitalanger.
Hans kommentarer var delvis en nick till en av de unga åhörarna, Kezia Dugdale, som Murray har stött till att bli skotsk labours nya ledare över Ken Macintosh, en MSP sedan 1999.
Samtidigt gav han också sitt stöd till Yvette Cooper för UK Labour ledarskap vid en tidpunkt då veteranen MP Jeremy Corbyn ses av vissa som en favorit för att få spelningen.
Ian Murray och hans labourkolleger är alla alltför medvetna om den utmaning som väntar, och med opinionsundersökningar som tyder på seger för SNP i 2016 års skotska riksdagsval, vet partiet att det kommer att behöva arbeta extra hårt för att vinna tillbaka väljarnas förtroende.
Murray tillade: "Jag vill att vi ska se tillbaka om 20 år, i regeringen i Storbritannien och Skottland, och kunna säga att vi stod inför utmaningen när ansvarsbördan gick över till nästa generation.
"Detta kommer att bli den nya generationens verk. Det måste vara den nya generationens arbete eftersom vi inte kan gå tillbaka."
Murray var den enda labourkandidat som vann i Skottland vid valet i maj, när SNP tog 56 av de 59 platserna.
Nyligen gjorda val föreslog SNP är också på väg mot en jordskred i nästa års Holyrood val.
Scottish Labour kan inte längre vända sig till de "stora bestarna" eftersom det återhämtar sig från det allmänna valnederlaget, enligt partiets enda parlamentsledamot i Skottland.