Після повернення до США у 1923 році працював в юридичній фірмі «Рут, Кларк, Бакнер і Хауленд», одночасно навчаючись у Юридичній школі Нью-Йорка. Пізніше працював помічником районного прокурора в Південному окрузі Нью-Йорка та спеціальним помічником генерального прокурора Нью-Йорка. У 1954 році Гарлана призначено до Апеляційного суду США у Другому окрузі, а роком пізніше президент Дуайт Ейзенхауер висунув його кандидатуру на пост судді Верховного суду США після смерті судді Роберта Джексона.