Den f.d. premiärministern, som kämpar för Remain, sade att han fruktade att John Johnsons "domslut är på väg".
Det markerade en ytterligare upptrappning av ett ordkrig mellan Tories om EU.
John Johnson sade tidigare att det var en "bit för mycket" för David Cameron att säga så kallade IS skulle välkomna en Out röst.
Som svar på lord Heseltines kommentarer sade en talesman för Johnson att det var "de argument som spelade roll".
I EU:s övriga utveckling inför folkomröstningen den 23 juni:
På söndagen jämförde John Johnson, före detta borgmästare i London, EU:s mål att skapa en "enhet" i Europa med Napoleons och Hitlers.
Han föreslog också i tisdags att David Cameron skulle "samarbeta" med näringslivet inför folkomröstningen den 23 juni efter ett läckt brev från chefen för outsourcingföretaget Serco till premiärministern tog upp frågan om företagens stöd för Storbritanniens EU-medlemskap samt ytterligare privatisering av fängelsesystemet.
När lord Heseltine talade till BBC:s politiska redaktör Laura Kuenssberg sade han att "tåget" i folkomröstningskampanjen var "början att berätta" om Johnson och han hade börjat göra "förkastliga obscena politiska kommentarer".
"Han beter sig nu oansvarigt, vårdslöst, och jag fruktar att hans dom går", sade han.
Som Boris Johnson kanske säger: "Cripes!" Men det börjar inte riktigt täcka det. Denna kritik kommer att svida för även om Boris Johnson insisterar på att det inte är så, många av hans Tory kolleger tror att hans beräkning för att gå med i Out kampanjen var helt för att han vill bli nästa ledare för sitt parti.
För lord Heseltine, som naturligtvis hade liknande ambitioner men som omintetgjordes i slutändan, att föreslå sitt beslut och efterföljande beteende kommer i själva verket att döda hans chanser verkligen kommer att skada.
Läs mer från Laura
Lord Heseltine frågade om Johnson en dag kunde leda det konservativa partiet och sade: "Jag skulle bli mycket förvånad."
Han tillade: "Jag tror att varje gång han gör ett av dessa extraordinära uttalanden kommer människor i det konservativa partiet att ifrågasätta om han nu har omdömet för den rollen."
Lord Heseltine, vars utmaning hjälpte till att utlösa Margaret Thatchers avgång från Downing Street, frågade om de historiska paralleller som Johnson hade dragit mellan EU och nazisterna, och sade att hans generation hade levt genom kriget och "vett vad Hitler handlade om".
"När han (Boris Johnson) börjar åberopa Hitlers minnen, som har passerat gränserna för inrikesdebatt", sade han.
"Det handlade om den mest maniska nationalistiska aggressiva förstörelsen i en omfattning som saknar motstycke i människans historia. Det handlade om förföljelsen av judarna. Ett kalkylerat beslut att förfölja judarna i stor skala - det var vad han ville göra. Han trodde på det.
"Tanken att en seriös brittisk politiker på något sätt kan åberopa det minnet, finner jag ärligt talat, jag hade bättre hålla mitt språk."
Lord Heseltine anklagade också Johnson för att göra en "nära-rasistisk anmärkning" om USA:s president Barack Obama efter att han i en tidningsartikel förra månaden hänvisade till Barack Obamas "del-Kenyan" anor och ifrågasatte om detta hade påverkat hans inställning till Storbritannien.
Som svar sade en talesman för Johnson: " Det viktiga här är argumenten. Det brittiska folket vill höra debatt - de är inte intresserade av personlighetspolitik eller personliga attacker. Låt oss gå vidare och diskutera frågorna."
Lord Heseltine är en av de mest framträdande proeuropeiska rösterna i det konservativa partiet, efter att ha argumenterat för att Storbritannien ska hoppa över pundet och anta euron.
Den konservativa kamraten avvisade påståenden om att båda sidor var lika skyldiga till hyperboliska påståenden - som David Camerons senaste förslag om att EU:s utträde skulle kunna hota freden i Europa.
Det var inte skrämmande, föreslog han, att tala om för folk vad Storbritanniens vänner och partner runt om i världen sade.
Lord Heseltine har sagt att han skulle bli "mycket förvånad" om Boris Johnson blev premiärminister efter hans "förkastliga, obscena" kommentarer under Europeiska unionens folkomröstningskampanj.