Minst fem medlemmar av ett oljeprospekteringsteam dödades, sade en talesman för universitetet i Maiduguri.
Soldater och medlemmar av en medborgargardistgrupp dog också i bakhållet.
Det stora antalet dödsoffer kommer att bli ett slag för regeringen, som insisterar på att upproret är allt annat än besegrat.
Minst 20 000 människor har dödats och tusentals till har kidnappats sedan Boko Haram inledde sin upprorsoperation 2009.
I det mest ökända kidnappningsfallet beslagtogs 276 flickor från en internatskola i den nordöstra staden Chibok 2014.
Den har sedan dess befriat mer än 100 av flickorna, i utbyte mot att dess fighters som hålls fängslade av Nigerias säkerhetsstyrkor friges.
Detaljer om vad som hände på tisdagen är fortfarande oklara, med inledande rapporter från armén som tyder på att de bortförda geologer och lantmätare, som arbetade vid universitetet i Maiduguri, hade räddats.
I tisdags sade armén att nio nigerianska soldaters kroppar och en civilist hade återfunnits.
Men nu har universitetet sagt att minst fem medarbetare, däribland två akademiker och en förare, dödades när den tungt beväpnade konvojen tog sig tillbaka till Maiduguri i nordöstra Nigeria.
Flera andra saknas.
"Vi fick intrycket att vår personal i laget räddades eftersom det var vad militär talesman sade igår," Maiduguri University talesman Dani Mamman sade, citeras av AFP.
"Men vi blev chockade när vi fick fyra döda kroppar. Det betyder att det inte var en räddning. Vi har fortfarande annan personal som ännu inte har redovisats."
Källor berättade för BBC att mer än 40 personer, de flesta av dem soldater och frivilliga från en hämnare grupp, hade dödats totalt - även om andra källor tyder på att antalet dödade kan stiga ännu mer.
"Dödssiffran fortsätter att öka", sa en källa till AFP och tillade: "Fler kroppar kommer in."
Mer än 40 personer har dött under ett försök att befria människor under ett bakhåll av militant islam grupp Boko Haram, källor har berättat BBC.