Nel 1962, mentre la famiglia si era da poco trasferita a Phoenix, in Arizona, Jim si iscrisse invece all'Università statale della Florida di Tallahassee, accentuando qui i suoi atteggiamenti scontrosi e sregolati, tanto che venne addirittura arrestato il 28 settembre 1963 con l'accusa di ubriachezza e disturbo della quiete pubblica, durante una partita di football americano, dopo aver altresì sottratto l'elmetto ad un poliziotto.
In questo periodo, tra il 1962 e il 1965, Jim frequentò stabilmente Mary Frances Werbelow, giovane studentessa del liceo di Clearwater.
Nel gennaio 1964 tuttavia, l'intera famiglia dovette tornare in California, questa volta a Los Angeles.
Sebbene il padre avrebbe preferito che si dedicasse alla carriera militare, di contro Jim volle iniziare gli studi di Cinematografia presso l'UCLA, l'Università della California di Los Angeles.