Na noite de 3 de maio e durante todo o dia 4, Hooker permaneceram em suas defesas ao norte de Chancellorsville. Lee observou que Hooker não representava qualquer ameaça ofensiva, por isso se sentiu tranquilo ao ordenar que a divisão de Anderson se juntasse à batalha contra Sedgwick. Ele enviou ordens para Early e McLaws para cooperarem em um ataque conjunto, mas as ordens chegaram a seus subordinados depois de escurecer, de modo que o ataque ficou planejado para 4 de maio. Nessa altura Sedgwick havia colocado suas divisões em uma forte posição defensiva com seus flancos ancorados no rio Rappahannock, três lados de um retângulo se estendendo pelo sul da estrada Plank. O plano de Early era fazer com que as tropas da União se retirassem de Marye's Heights e de outras elevações a oeste de Fredericksburg. Lee ordenou que McLaws se aproximasse pelo oeste "para evitar [que o inimigo] se concentrasse no general Early".[55]
Early reocupou Marye's Heights na manhã de 4 de maio, expulsando Sedgwick da cidade. Porém, McLaws estava relutante em efetuar qualquer ação. Antes do meio dia, Lee chegou com a divisão de Anderson, dando-lhe um total de 21.000 homens, superando ligeiramente em número o efetivo de Sedgwick. Apesar da presença de Lee, McLaws continuou com seu papel passivo e os homens de Anderson levaram algumas horas para tomarem posição, uma situação que frustrou e irritou Early e Lee, que tinham planejando um ataque concentrado partindo das três direções. O ataque finalmente começou por volta das seis horas da tarde. Duas das brigadas de Early (sob o comando dos brigadeiros-generais Harry T. Hays e Robert F. Hoke) forçaram o centro-esquerdo de Sedgwick para trás, do outro lado da estrada Plank, mas o esforço de Anderson foi uma versão leve e mais uma vez McLaws não contribuiu em nada. Durante todo o dia de 4 de maio, Hooker não forneceu qualquer ajuda ou orientação útil para Sedgwick, e Sedgwick pensou em pouco mais em proteger a sua linha de defesa ou se retirar.[56]
Sedgwick retirou-se atravessando o rio Rappahannock em Banks's Ford durante as horas antes do amanhecer de 5 de maio. Quando soube que Sedgwick tinha recuado para o rio, Hooker sentiu que estava sem opções para salvar a campanha. Convocou então um conselho de guerra e pediu a seus comandantes de corpos de exércitos para votarem sobre a possibilidade de ficar e lutar ou de se retirar. Embora a maioria votasse pela luta, Hooker achou que bastava, e na noite de 5-6 de maio, retirou-se para o outro lado do rio, através de U.S. Ford. Foi uma operação difícil. Hooker e a artilharia cruzaram em primeiro lugar, seguidos pela infantaria iniciando às seis horas da manhã de 6 de maio. O V Corpo de exército de Meade serviu de retaguarda. As chuvas fizeram as águas do rio subirem de nível e ameaçaram arrastar as pontes flutuantes. Couch ficou no comando na margem sul, depois que Hooker partiu, mas ficou com ordens explícitas para não continuar a batalha, que ele tinha sido tentado a fazer. A retirada surpresa frustrou o plano de Lee de um ataque final contra Chancellorsville. Ele tinha enviado ordens para a sua artilharia para bombardear a linha da União, na preparação para um outro ataque, mas quando estavam prontos Hooker e seus homens já tinham ido embora.[57]
Meu Deus! É horrível - horrível; e pensar que, 130 mil excelentes soldados foram cortados em pedaços por menos de 60 mil maltrapilhos esfomeados!
A cavalaria da União, sob o comando do brigadeiro-general George Stoneman, após uma semana de incursões ineficazes nas regiões central e sul da Virgínia nas quais eles não conseguiram atacar nenhum dos objetivos estabelecidos por Hooker, retirou-se para dentro da linha defensiva da União a leste de Richmond - a península norte do rio York, em frente de Yorktown - em 7 de maio, encerrando a campanha.[59]