Di questo giovane tutore è noto solo che i suoi metodi erano severissimi e non risparmiava punizioni corporali al ragazzo.
James non reagì bene e il padre decise di mandarlo nel 1841 all'Accademia di Edimburgo.
In quel luogo, Maxwell si trovò ben presto isolato per via della sua riservatezza e dei suoi modi strani, oltre che per il suo marcato accento scozzese.
Fu soprannominato, dai compagni di corso, "daftie", che significa «sciocco».