World Anti-Doping Agency sa att många idrottare som hade varit riktade för att testa "enkelt kunde inte hittas".
Man tillade att "upp till 50 % av testerna avbröts under några dagar".
I sin 55-sidiga Independent Observers rapport fann man att av 11 470 idrottare hade 4 125 inga uppgifter om några tester under 2016, varav 1 913 tävlade i 10 "högre risksporter".
Det stod också:
Internationella olympiska kommittén (IOC) är ytterst ansvarig för att genomföra antidopningsprogrammet för de olympiska spelen.
Wada nämnde flera "fel" som ledde till otillräckligt stöd för de förkläden som anställts för att meddela idrottare om tester.
Det sades att vid flera tillfällen mer än hälften av dessa inte dök upp, eller dök upp mycket sent. Det sades att de var "omotiverade" på grund av bristande utbildning, dåliga researrangemang och det faktum att många inte kunde tala engelska.
Det sade att, för "majoriteten av gånger" den 'no-notice' typ av testning var "uppenbart äventyras" eftersom förkläde inte visste var idrottare var och var tvungen att fråga sina lagkamrater var de var.
I en av sina rekommendationer sades det: " Otränade och oerfarna förkläde bör inte arbeta vid spelen.
"Det undergräver respekt och förtroende bland idrottare i anti-dopning programmet, och ger möjligheter för erfarna och skrupelfria idrottare som skulle vilja missbruka systemet för att manipulera doping kontroll processen."
Wada berömde emellertid de förbättringar som gjorts i Rios antidopningslaboratorium.
Organisationen hade stängt av labbet bara sex veckor innan spelen öppnades, eftersom det inte uppfyllde internationella standarder.
Men Wada sa att den hade varit "superbly utrustad", och att den fungerade "mycket säkert och i allmänhet mycket effektivt".
Det sades att det nu representerar ett "utstående arv från spelen för antidopningsrörelsen i Sydamerika".
I ett uttalande på IOC:s webbplats citerade Richard Budgett, IOC:s medicinska och vetenskapliga direktör, och sade att rapporten "visar att det var ett framgångsrikt olympiskt spel med ett framgångsrikt antidopningsprogram".
Han tillade att programmets integritet hade "säkrats trots vissa utmaningar".
Sir Craig Reedie, ordförande i Wada, talade med BBC Radio 5 live och sade att de logistiska problem som belystes var en besvikelse.
"Vad var ett verkligt problem var prov insamling," sade han, "och det fanns ett antal stora frågor i Brasilien, en var bristen på pengar och den andra bristen på arbetskraft och en del av det arbetade sig igenom till prov insamlingsprocessen.
"I allmänhet undergrävdes inte processens integritet enligt rapporten."
Reedie sa att dopningsprogrammet hade varit välplanerat men sviket av oförutsedda omständigheter.
"Om du antar att du har ett visst antal människor att göra arbetet och 50% inte dyker upp du har ett problem," sade han.
BBC sportredaktör Dan Roan
Mitt i den ryska dopningsskandalen, och avslöjandet att både London 2012 och Sochi 2014 saboterades av statssponsrat fusk, var det viktigt att myndigheterna gjorde så mycket som möjligt för att visa att de höll Rio 2016 ren.
I stället är detta fördömande betänkande ännu ett förödande slag mot antidopningens trovärdighet och den olympiska rörelsens integritet, som visar hur organisatoriskt kaos fördärvade Spelens drogtestningsprogram.
Efter att det vägrade krav på att förbjuda hela Rysslands lag från de olympiska spelen, bli inte förvånad om det nu finns krav på att IOC själv ska förklaras Wada icke-överensstämmande.
Och det kan också finnas svåra frågor för den brittiska antidopningsbyrån, som fungerade som sekretariat för en antidopningsarbetsgrupp före Rio.
En Wada-rapport om de antidopningsmetoder som användes i Rio 2016 har lyft fram "allvarliga brister".