De har förts till FN-centrum i Dohuk i det kurdiska norra Irak.
Det är oklart om de rymde i Irak eller frigavs, eftersom FN vägrade att ge mer information för att undvika att äventyra framtida utsläpp.
IS dödade och förslavade tusentals Yazidis efter att ha beslagtagit den norra staden Sinjar 2014.
Kurdiska Peshmergastyrkor återfick kontroll under 2015 men många Yazidis hölls fångna av IS på annat håll när gruppen tog över stora delar av norra Irak.
De 36 överlevande inkluderar män, kvinnor och barn som var förslavade, sade FN: s kontor för samordning av humanitära frågor.
De nådde Dohuk för två nätter sedan där de hålls i centrum som inrättats av FN:s befolkningsfond.
Där återförenas de med familjemedlemmar och erbjuds vård inklusive kläder och medicinsk och psykologisk hjälp, sade FN.
Kvinnor och barn vårdas på särskilda serviceställen och kommer att hänvisas till mer specialiserad behandling.
FN:s humanitära samordnare för Irak, Lise Grande, sade att FN skulle göra "allt möjligt" för den räddade Yazidi.
"Vad dessa kvinnor och flickor har uthärdat är ofattbart", sade hon.
Vem, vad, varför, vem är Yazidis?
FN - som har anklagat IS för att ha begått folkmord mot Yazidi - beräknar att 1 500 kvinnor och flickor fortfarande hålls fängslade och kan utsättas för utdragna sexuella övergrepp.
I en FN-rapport som publicerades förra året sade extremisterna att de hade tillfångatagit Yazidis under "det mest fasansfulla av illdåd", dödande eller förslavande tusentals, varning IS syftar till att helt radera deras sätt att leva.
I mars. Advokat Amal Clooney uppmanade FN att stödja en brittisk utredning av de brott som begås av IS.
IS har utsatts för allt större påtryckningar i Irak och förlorat en stor del av det territorium som beslagtogs 2014.
Irakiska styrkor har återtagit de flesta av Mosuls städer från IS, men de försöker fortfarande driva ut gruppen från stadsdelen Old City i väst.
Trettiosex medlemmar av den religiösa minoriteten Yazidi är fria efter nästan tre år i händerna på den så kallade islamiska staten (IS), säger FN.