Enade, som bara registrerade ett skott på mål, föll efter när Alejandro Dominguez avledde hem Giannis Maniatis ansträngningar innan pausen.
Arsenal-låntagaren Joel Campbells exakta skott fördubblade försprånget och besökarna kom bara till liv sent.
Robin van Persie flammade över toppen när de äntligen öppnade grekerna.
Det skulle ha varit en orättvisa för värdarna om holländaren hade konverterat sin sena chans, men efter att Uniteds nuvarande begränsningar avslöjades under en kysk natt.
Olympiakos leder den grekiska Super League med 20 poäng, efter att ha vunnit 24 av 26 matcher, i skarp kontrast till sina motståndares allt förlorn Premier League titel försvar.
Och efter att ha vänt mot Manchester City och Arsenal förra veckan, så tillfogade grekerna det tredje nederlaget för den engelska sidan.
Olympias manager Michel hade före kick-off föreslagit att United, vars bästa hopp om passage in i nästa års Champions League verkade vinna säsongens tävling, kunde vika under trycket av knockout fotboll.
Besökarna, som var berömda elimineras av Galatasaray i en liknande vit-het atmosfär i Istanbul 1993, verkligen underblåste den bullriga hem fans entusiasm med några tidiga defensiva wobbles.
Mediauppspelning stöds inte på den här enheten
Efter att Rio Ferdinand hade förlagt ett par pass, en sista-ditch utmaning från Nemanja Vidic bara avslutade Dominguez kör efter att han hade avancerat in i området obestridd.
Dominguez fortsatte att orkestrera Olympias attacker från en avancerad mittfält roll och med Juan Mata cup-tied, Adnan Januzaj lämnade ut av match-day trupp och Rooney frustrerad av domaren och hans egen prestation, besökarna saknade en liknande kommandofigur.
Så det var passande att det var argentinaren som öppnade poängsättningen.
Maniatis trevande låga skott utgjorde liten fara för den Förenade målvakten David De Gea, men Dominguez utsträckta fot skickligt avled bollen in i det motsatta hörnet vilket ger spanjoren för mycket mark för att kompensera.
Enade, som hade saknat energi och uppfinning, visade något mer syfte innan pausen, men kunde inte skapa några klara chanser, målvakt Roberto hantera kompetent med besökarnas kors.
Sista gången Manchester United störtade ett två-mål underskott i Europa var när de slog Diego Maradonas Barcelona 3-0 på Old Trafford i mars 1984 i kvartsfinalen av Cupvinnarnas Cup.
David Moyes halvtid team-talk behövde för att fokusera spelarnas sinnen och ändra deras taktik men ingen var i bevis eftersom Tom Cleverley slog bollen ur spel under ingen press strax efter kick-off.
Ett mål ner, besökarna hade inget utrymme för ytterligare fel och Campbells fantastiska locktång ansträngning, efter att han halkade Michael Carricks bräckliga utmaning, hotade att skära dem på drift i slipsen.
Moyes introducerade Shinji Kagawa och Danny Welbeck på bekostnad av Antonio Valencia och Cleverley, men det gjorde inte mycket för att ändra drivkraften.
Michael Olaitan skickade en shot fizzing precis över som värdarna rev i utrymmet och osäkerhet i Uniteds försvar.
Endast i de sista 10 minuterna kunde United föra någon press att bära, men, efter två uppmätta touchs hade gett honom en klar syn på målet, Van Persie kraschade över toppen med sin svagare höger fot från Chris Smalling kors.
Det sammanfattade en olycklig ny episod i Moyes vacklande första säsongen som bestämmer.
Manchester Uniteds Champions League kampanj är i allvarlig fara efter att de bekvämt misshandlades av Olympiakos i sista-16 första benet i Aten.