Och 2015 och 2016 överträffade hennes Todai-robot 80% av gymnasieeleverna och var i topp 1% för matematik.
Men Prof Arai, matematiker vid National Institute of Informatics, är inte glad över hur bra det går.
Vid Teds (Teknik, Underhållning och Design) konferens, i en session som heter Our Robotic Overlords, sa hon att resultaten var "armning".
"Du kanske tycker att jag var glad, men jag blev orolig", sade hon.
"Den här roboten, som inte kunde läsa eller förstå, kunde överträffa tusentals gymnasiebarn."
Detta ledde Prof Arai att undersöka läs- och skrivfärdigheterna hos gymnasieelever, i samband med Japans utbildningsministerium.
"De flesta av eleverna packar i kunskap utan förståelse, och det är bara memorerande", sade hon.
"Aids kan göra det bättre, så vi behöver en ny typ av utbildning."
Stuart Russell, professor i datavetenskap vid Berkeley, University of California, sade att sessionsmaskinerna snart skulle läsa och förstå mycket väl.
"Och mycket snart efteråt, de kommer att ha läst allt som någonsin har skrivits", sade han.
Människor behövde börja utforma regler för hur robotar relaterade till dem, sade han till Ted publiken, och föreslog tre grundläggande principer:
Men Prof Russell erkände att det kan finnas barnproblem.
"Om en robots jobb är att mata hungriga barn och det ser familjen katt men inte ser att det sentimentala värdet av husdjur är större än dess näringsvärde, som kan ensam förstöra marknaden för hem robotar," sade han.
Tanken på altruistiska robotar är en som Tom Gruber, mannen som designade Apples röstassistent Siri, tror på.
Och medan vissa experter, inklusive tech tycoon Elon Musk och Prof Stephen Hawking, oro maskiner kommer att ta över och förstöra mänskligheten, upprätthåller han en optimistisk vision av "humanistiska" AI.
"Syftet med AI är att stärka och förstärka oss", berättade han Ted publiken.
"Tänk om AI kom ihåg varje person du någonsin träffat eller kunde hämta allt du någonsin läst eller sett.
"Inte bara skulle det göra oss bättre på att minnas människor vid sociala tillfällen - men för dem med demens eller Alzheimers, det skulle innebära skillnaden mellan ett liv av isolering och ett av värdighet."
Prof Noriko Arai har i åratal utbildat en robot för att klara prestigefyllda University of Tokyos inträdesprov.