Tillerson, tidigare chef för Exxon Mobil utan tidigare politisk erfarenhet, sade i en intervju att han var "förbluffad" med inbjudan.
"Jag ville inte ha det här jobbet. Jag sökte inte det här jobbet", berättade han för den konservativa webbplatsen Independent Journal Review (IJR) under sitt senaste besök i Asien.
"Min fru sa att jag skulle göra det här."
I den omfattande intervjun sade Tillerson att han skulle gå i pension denna månad efter att ha tillbringat mer än 40 år på oljejätten Exxon Mobil. Han fyller 65 på torsdag.
"Jag skulle åka till ranchen för att vara med mina barnbarn", tillade han i intervjun, när han återvände till USA från Peking.
Mr Tillerson sa att han aldrig träffat Donald Trump före valet i november.
När han blev inbjuden till ett samtal med den dåvarande presidenten trodde han att de skulle prata "om världen" med tanke på hans erfarenheter på oljebolaget, tillade han.
"När han bad mig att bli utrikesminister i slutet av samtalet blev jag chockad."
Mr Tillerson gav sedan nyheten till sin fru, Renda St Clair, som sa: "Jag sa till dig att Gud inte är färdig med dig."
Han tillade: " Min hustru övertygade mig. Hon hade rätt. Jag ska göra det här."
Det var Mr Tillersons första intervju sedan han tillträdde och korrespondenter säger att han hittills har hållit en låg profil på UD.
Han blev kritiserad efter det att UD:s presskår inte hade tagits med på sin resa till Asien.
IJR:s Erin McPike var den enda reportern som fick resa med honom. UD sa att det berodde på planets storlek.
Men i intervjun sade herr Tillerson: " Jag är ingen stor mediapressperson. Jag behöver det inte personligen.
"Jag förstår att det är viktigt att få ut budskapet om vad vi gör, men jag tror också att det bara finns ett syfte med att få ut budskapet när det finns något att göra."
Tillerson har också kritiserats för sina nära förbindelser med Rysslands president Vladimir Putin. Men när ämnet kom upp i intervjun, IJR sade: "Han var så burig när Ryssland kom upp, till exempel, att hans svar inte ens var värt att inkluderas."
USA:s utrikesminister Rex Tillerson har sagt att han bara accepterade jobbet efter att ha blivit övertygad av sin fru.