Alla fine della corsa viene anche criticato dal suo direttore sportivo Walter Godefroot, il quale afferma:
«Il talento da solo non basta».
Ai Giochi olimpici di Atene Ullrich non bissa i risultati di quattro anni prima: è settimo a cronometro e mai incisivo nella prova in linea, dove chiude al diciannovesimo posto.
Viene escluso dalla "Grande Boucle" dagli organizzatori dell'evento, quindi sospeso dalla sua squadra e in seguito anche licenziato.