1947 年出生於臺南市南廠一帶的大勇街，祖父吳陳塗為臺南南聲社創館館員，父親吳再全為南管音樂名師，精通南管的指與曲，是臺灣少數通曉南管一百零八個滾門者之一。耳濡目染下，吳素霞4歲即隨父親習南管，10歲開始學琵琶，因此培養對南管音樂濃厚興趣。初中三年級下學期休學，將時間投入在學習南管。1962年，菲律賓四連樂府來臺訪問於赤崁樓康樂臺交流演出，吳素霞代表振聲社演唱《望遠行‧一個孩兒》，頗受好評。
因緣際會下，菲律賓南管僑社董事會來臺聘請教導梨園戲的老師，吳素霞與另外十三位女孩錄取，可惜其中一位學員因病早逝，其餘十三位受吳春熙教授抬愛，稱她們為「十三金釵」。家人本不同意參與學習戲曲，但在父親吳再全先生支持下得以開始，跟隨徐祥、李祥石習南管梨園戲，學習行當為大家閨秀或已出嫁婦人的「青衣」。表演時的唱腔運轉與純粹清唱大不相同，還需感情的融入、文戲的肢體語言、武戲的刀槍演練，努力練習且兢兢業業的態度，奠定了後來傳承工作的基礎。
1967 年2月，吳素霞執教清水清雅樂府，成為臺灣有史以來第一位南管館閣女館先生，吳再全要求吳素霞「曲飽才夠格教館」，家學薰陶及父親的期望下，使吳素霞致力傳承南管音樂文化。清雅樂府執教六個月後，吳素霞與高雄林正介先生結婚。林正介為左營集賢堂林得先生之孫，也是吳再全於左營集賢堂執教時的得意門生，夫婿家人也為南管絃友，夫唱婦隨，使家族在南管界的地位日益崇高。
婚後嫁到左營，先後在高雄蚵仔寮通安社、茄萣地區的振樂社、南聲社執教。1977 年，李祥石藝師再次來臺招募團員赴菲演出，吳素霞與夫婿、邱素惠等人一同停留菲律賓演出五個月，閒暇時夫妻到金蘭郎君社閒玩，陸續錄了幾首曲子，包括《輕輕行》、《玉簫聲》、《聽見杜鵑》、《荼蘼架》、《回想當日》。回國後繼續教學。
1979 年，吳素霞任教於鹿港聚英社傳習南管戲，有感於口傳身授學習的困難，她整理出一套教學方法，使學員學習功效加倍。因夫婿林正介至臺中新民商工南管社指導，另邀請清雅樂府演出，使吳素霞再次執教清雅樂府，一教就是十六年。後帶領清雅樂府巡迴至澎湖、金門、馬祖演出，且赴菲參加國風郎君社五十周年金禧暨東北亞南管大會，爾後至美國紐約文化中心演出。1989 年，開始參與漢唐樂府演出，先後於歐洲、澳洲、亞洲各國巡迴。1993 年，吳素霞成立合和藝苑，並帶領至法國演出，合和藝苑更以優秀的演出，連續六年獲得臺中縣傑出演藝團隊。
1988 年，吳素霞獲教育部第四屆民族藝術薪傳獎。同年，國家劇院委託國立藝術學院傳統藝術中心籌備「南管戲傳習計畫」，聘請吳素霞擔任唱腔指導及演出。後年行政院文化建設委員會委託製作《留鞋記》，雖過去曾做過身段譜記錄，但吳素霞後與清華大學合作「梨園戲計畫」時，再次全面整理，除了道白、身段譜、唱詞等，更加入新的舞臺走位圖，其用心程度可見一斑。
自 1994 年起，吳素霞受聘於彰化文化中心，任教於南管薪傳班、南管實驗團，及南管戲研習班，彰化文化局更出版由吳素霞所著之《南管音樂賞析》五冊。2005 年，獲教育部第一屆教育百人團獎，以表推廣南管音樂不遺餘力。2010 年，獲選為「重要傳統藝術南管戲曲保存者」。吳素霞任教於國立臺北藝術大學傳統音樂學系及臺中教育大學碩士班，將南管音樂文化帶入專業領域，使南管音樂不再局限於傳統，還能進入音樂廳演出，讓更多社會大眾欣賞。