De skotska mästarna gick ut 4-3 på aggregat efter ett 2-0 nederlag i Sverige.
Deila sade: "Hypern om Champions League är stor, alla vill ha den så mycket. Du måste ta itu med det, men vi såg väldigt stressade ut.
"Vi såg inte ut att vilja gå ut och spela fotboll. Vi har en hel del unga spelare som kommer igenom men detta var en hård läxa för oss."
Norska var ny i den keltiska chefens jobb när hans lag knockades i play-off-rundan förra säsongen av slovenska sidan Maribor.
Men efter att ha format om laget på väg till att vinna skotska Premiership i sin debut säsong och över denna sommar, var han säker på att han kunde guida dem in i gruppstadiet av Champions League på bekostnad av de svenska mästarna.
Och med en 3-2 ledning på väg till Malmös 20 000 kapacitet stadion hans sida var i en stark position att kvalificera sig.
Malmö är femte i den svenska ligan, sju poäng av ledarna med bara nio matcher att spela av sin sommarsäsong.
Mediauppspelning stöds inte på den här enheten
Men Celtic kommer nu att tävla i Europa League och ta reda på sina motståndare i fredags grupp drag. Bland lagen i Europas näst högsta tävling finns Liverpool och Tottenham.
"Vi såg väldigt obekväma ut på bollen. Vi såg rädda och rädda ut och det är en stor besvikelse, sa han i sin mediekonferens efteråt.
"Det var ett lag prestation som inte var på den nivå vi bör förvänta oss på dessa spel. Vi måste lära oss av detta, vissa mycket hårt lärande.
"Vi visste om vi var som bäst att vi hade en bra chans att gå igenom men vi var inte ens nära.
"Vi har visat att Europaförbundet är den nivå vi måste konkurrera på och det är bättre än ingenting. Det är en bra tävling."
Frågade om målet Nir Bitton hade avvisat för en foul - replays visar att Bittons markör, Kari Arnason, hade hanterat bollen i flygutmaningen - Deila kände serbisk domare Milorad Mazic hade gjort "ett stort misstag".
"Det kunde ha förändrat spelet - det är irriterande att vi förlorade det", sade han.
Celtic var "rädd och rädd" i sin Champions League exit till Malmö, säger chefen Ronny Deila.