Восени він прибув до Кембриджа, де вступив у найдешевший коледж Пітерхауз, отримавши кімнату в будівлі самого коледжу. Однак він не був задоволений навчальною програмою Пітерхауса, до того ж не було практично ніяких шансів залишитися в коледжі після закінчення навчання. Багато його родичів і знайомих, у тому числі професори Джеймс Форбс і Вільям Томсон (майбутній лорд Кельвін), радили йому перейти в Триніті-коледж; тут же вчилися деякі його шотландські друзі. У результаті після першого семестру в Пітерхаусі Джеймс переконав батька в необхідності переведення в Триніті.