Washkansky, d'origini ebreo-lituane, emigrò con la sua famiglia in Sudafrica nel 1922, all'età di 9 anni. La sua famiglia possedeva un piccolo negozio di generi alimentari a Città del Capo. Washkansky, in seguito, ha combattuto durante la seconda guerra mondiale sul fronte italiano e sul fronte africano orientale e settentrionale. In gioventù Washkansky praticò calcio, nuoto e sollevamento peso. La sua salute con l'avanzare del tempo peggiorò, Washkansky diventò diabetico e a causa di una grave malattia cardiaca ebbe tre infarti. L'ultimo degli infarti gli causò un'insufficienza cardiaca.