Nel 1820 venne inviato nella Colonia del Capo, a Grahamstown, per supervisionare le cure mediche date ai soldati europei ed ai soldati dei Corpi del Capo. Nel 1822 venne nominato chirurgo del distretto di Albany e fu il primo medico, in Sudafrica, a curare gratis i pazienti indigeni. Intraprese una spedizione scientifica nell'interno, durante la quale crebbero moltissimo i suoi interessi iniziali in storia naturale ed antropologia. In qualche occasione venne inviato dai governanti in visita confidenziale alle tribù Bantu che si trovavano oltre la frontiera, tra cui ricordiamo il suo viaggio in Kaffraria nel 1824, durante il quale prese moltissimi appunti sui costumi delle tribù Xhosa. Nel 1825 il Governatore della Colonia del Capo, Lord Charles Somerset, nominò Smith primo Soprintendente del Museo Sudafricano di storia naturale di Città del Capo. Nel 1828 Smith venne inviato nel Namaqualand dal Vicegovernatore del Distretto Orientale del Capo di Buona Speranza, Richard Bourke, per compiere studi sui Boscimani che vivevano là. In seguito a questo viaggio nel 1831 Smith scrisse "Origine e storia dei Boscimani". Nello stesso anno giunsero voci che nell'est era scoppiato un certo malcontento e nel gennaio 1832 il Governatore Sir Lowry Cole fu costretto ad inviare Smith nel Natal. Qua parlò con Dingaan e ritornò da Cole, promuovendo un nuovo corso di eventi nella storia del Capo. Fu soprattutto grazie alle testimonianze di Smith che la Gran Bretagna poté annettere nel 1844 Port Natal e trasformarla in una colonia della Corona. Allo stesso modo le testimonianze dei commercianti a nord del fiume Orange portarono Smith ad intraprendere una spedizione di 18 mesi nel Basutoland, a Kuruman, il quartier generale di Mzilikazi, e ancora più a nord, sui Magaliesberg; tra gli artisti della spedizione vi era anche Charles Davidson Bell. Smith ritornò con due izinDuna di Mzilikazi, inviati dal loro capo per siglare un'alleanza con la Colonia del Capo. Il "Rapporto sulla spedizione alla scoperta dell'Africa Centrale" di Smith venne pubblicato nel 1836. Stranamente, ad eccezione di due brevi rapporti editi dopo il suo ritorno a Città del Capo nel 1836, non venne mai pubblicato nessun resoconto dei suoi viaggi. Comunque il diario di Smith venne in seguito edito da Percival R. Kirby e pubblicato dalla Van Riebeeck Society nel 1939-40, sotto il titolo "Diario del Dr. Andrew Smith, Direttore della «Spedizione alla Scoperta dell'Africa Centrale», 1834-36" (OCLC 4550857).