Mediauppspelning stöds inte på den här enheten
Ellis och Langridge slog världen nummer fem par 21-18 19-21 21-10.
Paret utförde över sin världsranking på 22nd för att nå tisdagens semifinal, förlora till fjärde frön Fu Haifeng och Zhang Nan av Kina.
Langridge sa: "När vi kom till 14-7 i förra matchen, tänkte jag: "Vi kan vinna detta! Vi kommer att vinna detta!'"
Han tillade: "Lyckligtvis var Marcus lugn, vilket hjälpte mycket."
I en dramatisk final krävdes en översyn av den sista punkten för att försegla segern.
"Jag kan inte ens beskriva hur jag kände efter att vi såg det", säger Ellis.
"Det här är en otrolig känsla. Efter hur vi uppträdde i vår allra första match visste vi att vi kunde tävla med vem som helst."
Team GB har nu vunnit 52 medaljer i Rio.
Den olympiska silvermedaljören Gail Emms twittrade genast sina gratulationer till paret.
Ta reda på hur du kommer in i badminton med vår specialguide.
Prenumerera på BBC Sport nyhetsbrev för att få vårt tips på nyheter, funktioner och video skickas till din inkorg.
Marcus Ellis och Chris Langridge vann Storbritanniens första olympiska badminton män dubbelmedalj, slå Kinas Hong Wei och Chai Biao att ta brons.