Per i cinquantotto giorni seguenti Nagai continua a curare le vittime della bomba atomica e a insegnare all'università di Nagasaki. Ma la leucemia peggiora e, l'8 settembre 1945, deve restare a riposo per un mese; la morte gli sembra vicina. Si trasferisce nel quartiere di Urakami, quello dell'ipocentro della bomba, il 15 ottobre 1945. Fa costruire una piccola capanna, da pazienti riconoscenti e dai suoi allievi, fatta coi pezzi della sua vecchia casa. Denominata "Nyoko-dō" ("Amate gli altri come voi", secondo le parole di Gesù "amerai il tuo prossimo come tu stesso"), rimane coi suoi due bambini scampati (Makoto e Kayano), sua suocera e due altri genitori. Questa capanna misura un poco più di sei tatami, costruita per lui nel 1947 da un carpentiere legato alla famiglia Moriyama. Quando la sezione locale della società San Vincenzo de' Paoli offre di costruirgli un'altra casa, nella primavera 1948, chiede di ingrandire leggermente la capanna esistente, per fare un favore al fratello e alla sua famiglia e per stabilire una struttura semplice, simile a un salone da tè, largo due tatami, per sé. In questo piccolo rifugio simile a un eremo trascorre i suoi ultimi anni in preghiera e contemplazione.