Mr Garner kommer att ansluta sig till Nationwide våren 2016 för att ersätta nuvarande verkställande direktör Graham Beale, som går i pension.
Han lämnar Openreach, den fasta nätleverantören, efter nästan två års ledning.
Garner sade att det riksomfattande arbetet var "för bra för att tacka nej".
Han sa: "Jag har haft stor glädje av min tid på Openreach och att besluta mig för att lämna har varit ett extremt svårt beslut, men Nationwide är ett företag som jag länge beundrat under min tid inom finansiella tjänster."
Han var tidigare chef för HSBC UK, där han arbetade med bankkunder, däribland First Direct och Marks och Spencer Bank.
Nationell ordförande David Roberts sade: "Joe är en exceptionell ledare och är exakt rätt person att leda samhället genom nästa kapitel av sin resa."
Gavin Patterson, BT:s verkställande direktör, sade: "Jag är ledsen att Joe går, men han flyttar till ett fantastiskt jobb och jag önskar honom lycka till."
Hans avgång kommer som kommunikationsregulator Ofcom undersöker om Openreach bör separeras från BT.
Rival Internetleverantörer hävdar att BT har en orättvis konkurrensfördel genom att äga telekominfrastrukturverksamheten.
De flesta internetleverantörer erbjuder tjänster genom ledningar och kablar som drivs av Openreach.
Det nationella byggsamhället har utsett Joe Garner, för närvarande chef för BT:s Openreach-enhet, till ny verkställande direktör.