Samtalet kom efter att "betydande mänskliga kvarlevor" hittades på platsen för ett tidigare hem i Republiken Irland.
Hemmet drevs av Bon Secours order av nunnor i Tuam, County Galway.
Kropparna varierade från för tidigt födda barn till treåringar.
Upptäckten gjordes som en del av en undersökning av påståenden från en lokal historiker om att upp till 800 spädbarn och små barn dog i hemmet och begravdes i omärkta gravar.
Amnesty International har sagt att arkeologiska undersökningar bör genomföras på alla tidigare hem för mödrar och barn i Nordirland.
Ärkebiskop Martin sade att många i kyrkan och samhället var "hädade" över vad som hade dykt upp i hemmet i Tuam.
Han tillade att "familjer är skyldiga en ursäkt" och att kyrkan hade upprepat en ursäkt som gjordes 2014 när påståendena "först kom fram".
"Det får mig att känna mig hemsk. Jag känner mig otroligt ledsen de senaste dagarna. Vi som kyrka vill inte upprepa det förflutnas fruktansvärda misstag."
Han tillade: " Det är en fruktansvärd tid för oss och alla i samhället.
"Vi öppnar upp ett helt kapitel i samhället i Irland och resten av världen där det fanns en fruktansvärd stigma mot ogifta mödrar.
"Det var en hemsk tid, vi i samhället och i kyrkan isolerade och stigmatiserade dem."
Under tiden har den irländske barnministern Katherine Zappone sagt att 474 "opåkallade barnrester" från mor- och barnhem överfördes till medicinska skolor mellan 1940 och 1965.
Irlands nationella programföretag RTÉ gjorde anspråk på överföringen av kvarlevor i en dokumentär från 2011.
Anne-Marie Zappone berättade för Dáil (Irländska parlamentet) att överföringen av kvarlevor var "en del av ett band av förtryck, övergrepp och systematiska kränkningar av de mänskliga rättigheterna som ägde rum i hela landet i årtionden".
Hon sade också att en interimsrapport in i hemmet i Tuam skulle publiceras i slutet av mars, en flytt ärkebiskop Martin sade katolska kyrkan stödde.
Ledaren för den katolska kyrkan i Irland har stött Amnesty Internationals uppmaning till en undersökning av mor- och barnhem i Nordirland.