Rangers tog en tidig ledning men Edinburgh sidan slog tillbaka för en 3-2 seger, med värdarna reducerade till 10 män innan halvtid.
"Vi studsade tillbaka riktigt bra," Lennon berättade BBC Skottland. "Det var en kittel, atmosfären var vit varm.
"När vi väl hade en stark start från Rangers, fick vi bollen nere och började spela. Vi var modiga."
Ny-främjade Hibs är bland fyra lag med 100% Premiership rekord efter två matcher, efter att ha kommit bakifrån hemma till Partick Thistle förra helgen.
Alfredo Morelos ledde värdarna framför och Rangers var väl på toppen tills Simon Murray planlade med sin 10: e mål i sju matcher efter 21 minuter.
När Ryan Jack skickades iväg, Hibs gick vidare genom en James Tavernier eget mål och Vykintas Slivka lagt till en fantastisk strejk i andra halvan innan en Tavernier huvudet säkerställde en spänd final.
"Jag tyckte inte om de första 15 minuterna, vi började inte särskilt bra alls och Rangers kom ut ur blocken mycket bra," Lennon sade.
"Jag var verkligen besviken på det första målet vi medgav från set play.
"Men när vi väl hittat våra fötter var vi utmärkta. Jag tycker att vi förtjänade att vinna. Vi gjorde en stor utjämning och växte in i spelet.
"Det röda kortet satte oss i upplyftningen och vi gjorde det mesta av den numeriska fördelen. Min enda kritik är att vi inte vann mer.
"Vi spelade bra i andra halvan och gjorde planen stor. Vi skar upp dem ibland men var lite slösaktiga framför målet.
"Against ett lag som Rangers, och jag måste säga att det finns en definitiv förbättring där, du måste se till att när du är på toppen du inte har en frenetisk finish.
"Med den kvalitet de har, lyckades de ett andra mål men vi såg spelet ganska bra.
"Det kommer inte att finnas många lag kommer hit och vinna, med stöd Rangers har och intensiteten de spelar med. Vi har sett det av idag, vilket är bra."
Litauisk mittfältare Slivka gjorde sin första start sedan han flyttade från Juventus.
"Jag visste vad jag fick med [Ofir] Marciano, [Efe] Ambrose, [Anthony] Stokes och [Steven] Whittaker," Lennon sade om de andra sommar signeringar i laget.
"Simon Murray har varit en uppenbarelse och Slivka kan vara en mycket bra spelare. Jag har varit imponerad av att se honom träna och tvekade inte att sätta in honom. Han gjorde ett bra mål, allierat med en mycket bra prestation.
"Kärnan i laget från förra säsongen är mycket bekväm med varandra och de spelade med stor mognad."
Chef Neil Lennon var glad att se Hibernian återhämta sig från en skakig start för att segra på Ibrox.