Det är därför så många Labour parlamentsledamöter fruktade en felaktig beräkning när deras partiledare förde sin gamla kamrat tillbaka till fållan.
Men hans häpnadsväckande kommentarer idag om Hitler och antisemitismen gick över en gräns - de räckte för Jeremy Corbyn att stänga av honom.
Men problemet för ledaren slutar inte med den handlingen.
Ingen tror att Jeremy Corbyn själv tolererar diskriminering av judar.
Men vid upprepade tillfällen har Labour varit långsamt och klumpigt när det gäller att avsluta fall av antisemitism bland dess medlemmar när de framträder.
Varje ögonblick av försening eller tvivel om ledningens beslutsamhet öppnar en liten spricka för den typ av intolerans som det stora flertalet av Labourpartiet, och faktiskt allmänheten, finner skrämmande.
Offentligt förnekande av att det finns en fråga skulle kunna göra det ännu värre. I politiken som i det normala livet kanske det första steget mot att lösa ett problem är att erkänna att det existerar.
Och med bara en vecka innan Jeremy Corbyns första stora prov på val, i val i London, Skottland, Wales, och alround England, det är den typ av röra, och politisk distraktion Labour kunde klara sig utan.
I åratal har det varit mer förvånande när Ken Livingstone inte har fött upp hackare än när han har gjort det.