Salk si iscrisse al City College of New York e conseguì il diploma accademico di laurea in Scienze nel 1934. Oshinsky scrive che "per le famiglie immigrate appartenenti alla classe operaia, il City College rappresentava l'apice dell'istruzione superiore pubblica. Entrarci era difficile, ma l'insegnamento era gratuito. La competizione era dura, ma le regole venivano applicate equamente. Nessuno era raccomandato per nascita". Su sollecitazione di sua madre, mise da parte l'aspirazione di diventare avvocato e si concentrò sui corsi necessari per l'ammissione alla scuola medica. Comunque, secondo Oshinsky, i mezzi a disposizione al City College erano "a mala pena di secondo livello". Non c'erano laboratori di ricerca, la biblioteca era inadeguata. "Ciò che rese quel luogo speciale fu il corpo studentesco che aveva combattuto così duramente per entrarci. Dalle loro file, tra gli anni Trenta e Quaranta del Novecento, emerse una ricchezza di talento intellettuale, inclusi più vincitori di Premi Nobel – ben otto – e più destinatari di dottorati di ricerca di ogni altro college pubblico a eccezione della University of California at Berkeley". Salk vi entrò all'età di quindici anni, "un'età comune per una matricola che aveva saltato diversi gradi lungo il percorso". Da bambino, egli non aveva mostrato alcun interesse per la medicina o la scienza in generale. Disse in un'intervista con la Academy of Achievement: "Ero semplicemente interessato alle cose umane, al lato umano della natura, se volete, e continuo a essere interessato a questo".