Gian-Franco Kasper, en schweizisk skidtjänsteman, gjorde jämförelsen under ett IOC styrelsemöte i Pyeongchang.
Styrelsen diskuterar om vi ska avbryta hela det ryska laget från spelen efter en dopningsskandal.
"Jag ber oreserverat om ursäkt för alla brott jag har orsakat. Jag är verkligen ledsen, sa Franco Kasper.
Internationella skidfederationens president diskuterade ett föreslaget totalförbud mot ryska idrottsmän när han kommenterade Förintelsen och hänvisade till folkmordet under andra världskriget, där sex miljoner judar dödades av Adolf Hitlers nazistiska Tyskland.
Han sade enligt uppgift: " Jag är bara emot förbud eller sanktioner mot oskyldiga människor. Som Hitler gjorde - alla judar skulle dödas, oberoende av vad de gjorde eller inte gjorde."
Franco Kasper, som då blev utmanad av reportrar, svarade: " Varför inte? Det är klart att det är mer extremt. Men bara det faktum att platsen du kommer ifrån gör dig skyldig, Jag är inte okej för detta, verkligen inte."
Ryssland fick inte något allmänt förbud från IOC från 2016 års olympiska spel i Rio, eftersom landet valde att överlåta beslutet till enskilda idrottsstyrelser.
I en rapport i december 2016 hävdades att ryska medaljörer från sommar- och vinterolympiaden hade dragit nytta av ett statssponsrat dopingprogram mellan 2011 och 2015.
En styrelsemedlem i Internationella olympiska kommittén (IOC) har bett om ursäkt för att jämföra uppmaningar att förbjuda Ryssland från 2018 års vinterolympiader med Förintelsen.