Nel Draft NFL 1996, i Ravens, con due scelte al primo giro, scelsero due futuri Hall of Famer, l'offensive tackle Jonathan Ogden come quarto assoluto ed il linebacker Ray Lewis come 26°.
La loro prima annata, sotto la guida dell'allenatore Ted Marchibroda, terminò con un record di 4-12.
Dopo tre stagioni consecutive con record negativo, Marchibroda fu licenziato e sostituito con Brian Billick.
Nel 2008, John Harbaugh divenne il terzo allenatore della storia del club.