Mediauppspelning stöds inte på den här enheten
Shavers förlorade ett 15-runda beslut till Ali 1977, även om han var en vän före matchen och har förblivit så under de mellanliggande 35 åren.
"Klitschkos är stora killar men de är inte i samma liga som Ali," Shavers berättade BBC Sport.
"Ali skulle ha plockat isär dem. Alla vi killar på 70-talet skulle ha gjort det."
Shavers, 66, blev först vän med Ali 1973, när "The Greatest" bjöd in honom till sitt träningsläger i Deer Lake i Pennsylvania för att förbereda Shavers förestående kamp mot Jimmy Ellis.
"När jag var redo att slåss Jimmy Ellis, Ali gav mig användning av sitt läger gratis, aldrig tog ett öre, och gav mig några råd [Ali slå Ellis 1971]," sade Shavers.
"Ali var en mycket trevlig man som behandlade mig väl. Han var en lättsam kille, en lätt kille att prata med. När kamerorna kom satte han på en show, men bort från kamerorna var han en mycket tyst kille. "
När Shavers kämpade mot Ali fyra år senare, rockade han "The Greatest" med en enorm höger i andra omgången - ett slag Ali sade "skocka min släkt i Afrika" - men det var Ali som tilldelades ett enhälligt beslut.
Men Alis dämpade prestation, och det straff han fick av Shavers, fick många i media att kräva att han skulle gå i pension.
"Med tiden kommer du att förlora en del av din skärpa, vilket är varför jag trodde att jag hade en bra chans att slå honom", sade Shavers, som tills nyligen bodde och arbetade i England.
Ali vill inte att du ska tycka synd om honom, men du kan inte hjälpa det för att du älskar honom. Det är sorgligt att se honom i den form han är i nu
"Jag hade blandade känslor [innan striden]. Jag ville inte slå Ali - han var en bra kille - men jag kämpade för mästerskapet. Jag var tvungen att göra mitt bästa.
"Jag trodde att han fejkade det [i andra ronden], försökte suga in mig, men han var skadad. Om jag hade gått in hade jag kanske stoppat honom."
Medan Shavers också slogs Joe Bugner, Larry Holmes, Ron Lyle och Ken Norton - som alla kallade honom den hårdaste puncher de mötte - i en stjärnkarriär, säger han Ali är den enda motståndaren som alla vill prata om.
Shavers, som nu gör sina autografer i Las Vegas, sade: " Varje dag blir jag tillfrågad om Ali-matchen. Ali vann matchen men det gick bra för oss båda.
"Den som kämpade mot Ali och gjorde bra ifrån sig, de var i grund och botten gjorda. Jag tror att jag gjorde ganska bra ifrån mig; jag gick 15 ronder med honom. Han vann matchen, men jag höll mitt namn rent.
Mediauppspelning stöds inte på den här enheten
"När Joe Frazier slogs mot Ali, gjorde han Joe Frazier. Joe Frazier var en bra kämpe men Ali gjorde allt."
Shavers är nära Ali och träffas en gång om året på välgörenhetsgalan i Arizona, men medger att det är svårt att se sin gamle vän försvagas av Parkinsons syndrom.
"Vi är fortfarande väldigt nära", sa Shavers. "Men eftersom Ali var en så stor kämpe och en sådan stor man, är det sorgligt att se honom i den form han är i nu.
"Ali vill inte att du ska tycka synd om honom, men du kan inte hjälpa det eftersom du älskar honom. Om du lär känna Ali skulle du tro att han aldrig ens hade Parkinsons, hur han bär sig.
"Men det är synd, när man älskar en kille, att se honom som han är nu, när man minns honom som han brukade vara. Det är svårt att vara nära honom.
"Utan en skugga av tvivel var han den störste. Folk älskar honom för att han gav tillbaka. Han hjälpte så många människor utom sig själv."
Earnie Shavers sade moderna tungviktare "var inte lämplig att bära Muhammad Ali gym väska", med anledning av sin gamla rival 70-årsdag.