1992年10月趙少康署長突然請辭，李慶中副署長也隨即辭職，環保署幾乎群龍無首，僅剩陳龍吉一人獨撐三個最重要職務，其後郝院長正式任命陳龍吉為代理署長，於1992年11月16日至11月20日間代理業務。
陳龍吉是當時唯一具有中央與地方政府資歷的首長，他在環保工作還沒有受到重視，甚至還沒有環保署的年代，便毅然投入環保工作，擔任臺北市環保局多個科的科長，主管過空、水、廢、毒、檢驗等不同業務，服務於臺北市政府18年，自環保署1987年成立時，由臺北市環保局調任首任副署長，協助建立環保署典章制度並兼任廢管處處長、訴願會主委、檢驗所籌備處主任，合計共50職等的首長。任職副署長時曾擔任行政院淡水河系污染整治計畫推動小組召集人，焚化設備工程推動小組召集人，行政院全球環境變遷工作小組召集人，並兼任財團法人一般廢棄物回收清除處理基金會（一清基金會）創會董事長等要職。陳龍吉在環保署任職期間，將各部門管轄的事務、法規、技術、制度等做最有效的規劃、整合、推動，也花了很多心血督辦中長期的目標與策略，並非常重視執行與溝通協調的重要，時時為環保工作盡心盡力。他在公務部門服務近40年，經驗與貢獻良多，堪稱是臺灣環保的領航者，亦為實際參與臺灣環保演進和改變的人之一。
遠在公害糾紛法尚未訂定之前，陳龍吉便經手處理許多公糾案件，深知有關公害糾紛處理機制立法工作之迫切，故在其副署長任內，一手推動催生公糾法，發揮極大的解決紛爭功能，替國家社會節省不少資源。其後經歷整治六十年代又髒又臭淡水河的污染改善工程，站在發財卡車上面對兩千抗爭民眾紓解抗爭，解決五輕、六輕環評問題，也親身處理米糠油中毒事件、綠牡蠣事件、鎘米事件、RCA污染事件、將軍溪養豬污染事件及台塑ABS與汞污泥污染等事件；同時為了解決臺灣嚴重垃圾問題，擔任環保署焚化設備工程推動小組召集人，督辦全台焚化廠建設，其中設在內湖的臺灣第一座垃圾焚化爐，就是由陳龍吉在臺北市環保局任內一手推動。他感嘆，在環保工作方興未艾的年代，執行稽查空氣污染、廢五金、非法廢水排放等吃力不討好的工作，環保同仁常常受到不法業者威脅恐嚇，但他認為做對的事就不必退縮，秉公執行，如今環境愈來愈好，可見堅持的重要。
陳龍吉退休後以《環保一生 一生環保》為書名出版回憶錄，為他公職生涯做一完整紀錄，書中談到對環保署的期許與建議，如需對重要政策有長遠規劃、對員工士氣提振、人員加強培訓、與相關部會及企業團體加強溝通，以及對退休或離職人員借重經驗並多加強聯誼等等，表示一直以來對環保署求好心切的心情未曾改變過，衷心期望環保署能發揮更大的功效，他在公職退休後仍繼續為臺灣的環保工作持續不懈努力，以貫澈其「環保一生、一生環保」的理念。