Він був відомий своїм конфронтаційним характером, а також відданістю своєму опіканцю. За словами Ділана: «Частково, він був схожий на типаж … ви могли буквально шкірою відчути його наближення». Напружені стосунки між Гроссманом і Джоном Геммондом призвели до того, що перед записом другого альбому, останній був замінений на молодого афроамериканського джазового продюсера .