Serberna förlorade 6-4 6-4 till brasilianska Marcelo Melo och Bruno Soares i Rio.
Förlusten kom en dag efter att Djokovic blev knockad ur singlarna av Argentine Juan Martin del Potro.
Världens första Djokovic, 29, drabbades av ett överraskande tredje-round nederlag vid Wimbledon i juli när han förlorade till American Sam Querrey.
Den 12-faldiga Grand Slam vinnaren kom tillbaka för att göra anspråk på sin 30: e Masters titel i Toronto före OS.
Prenumerera på BBC Sport nyhetsbrev för att få vårt tips på nyheter, funktioner och video skickas till din inkorg.
Novak Djokovic förlorade i Rio för andra gången när han och 40-årige lagkamraten Nenad Zimonjic lämnade männens olympiska dubbelspel i rond två.