審計部導入AI技術,將生成式AI作為審計助理,廣泛應用於審計作業流程之規劃、調查、報告及追蹤等階段,增進審計查核深度與廣度。
早在2019年,國際最高審計機關組織(International Organization of Supreme Audit Institutions, INTOSAI)就已在莫斯科宣言(Moscow Declaration)強調,審計機關應運用數據分析及人工智慧(Artificial Intelligence, AI)等工具方法,強化創新,並扮演策略參與者、知識交換者及前瞻產出者的角色。
審計部自陳瑞敏審計長上任以來,即積極響應政府的數位轉型政策,並接軌國際審計趨勢,從組織結構、人力部署、資源挹注等多面向,全方面推動數位審計轉型。當ChatGPT崛起時,陳審計長於2023年初即指示同仁深入了解其功能,並研議運用在審計工作之可行性。經審計同仁的嘗試與努力,生成式AI正逐步改變審計作業模式,從查核議題發想、資料分析、異常發掘等,皆可透過AI技術來提升效率。以2024年AI輔助政府審計案件為例,45.5%使用AI問答,42.4%由AI協助撰寫程式,12.1%透過AI協助分析。
審計AI黑客松:建置審計助理
審計部為推動生成式AI在審計領域的應用,鼓勵審計單位組隊共創AI技術應用解方,於2024年首度舉辦審計AI黑客松-創新技術應用競賽。審計部第五廳鑑於「人少、事繁、責任重」是同仁普遍的心聲,而審計人員辦理調查案的痛點,尤其對新進審計同仁,常有「不知怎麼查、查不出問題、寫不出意見」等問題,爰籌組跨單位團隊,參與審計AI黑客松競賽。經團隊運用「設計思考」 (Design Thinking)五步驟(圖1),秉持「以使用者為中心」的理念,打造滿足80%使用者需求的解決方案,讓生成式AI成為審計人員的得力助手。
在特定專業領域要讓大型語言模型(Large Language Model, LLM)提供有效問答,通常須透過檢索增強生成(Retrieval-Augmented Generation, RAG)、微調(Fine-Tuning)或提示工程(Prompt Engineering)等方式。考量前面兩者需投入較高資源成本,尚難在審計AI黑客松有限時間及人力下,達到符合審計人員作業需要的成果。因此,團隊基於審計人員辦理審計工作的痛點與困難,蒐集及發想審計流程各階段,可運用生成式AI常用問句,經由「提示工程」進一步優化;並在問句中導入所需審計知識與查核議題相關資料,及教導生成式AI如何回答問題可符合審計相關作業需要,以因應各類查核議題。

審計助理使用成效與注意事項
審計助理的操作簡便易懂,只需3個步驟,依序為輸入基本資料、選擇作業需求並提供相關文件、將產生的問句複製到AI提問。以追蹤階段的草擬資訊發布[1]為例,提供已公開的決算審核報告重要審核意見文字檔,依上述3個步驟,可快速產出資訊發布草稿,完成度約有7成,審計人員只需稍加修改及確認內容,即可大幅縮短作業時間。透過與審計助理協作,可減少審計人員辦理審計工作的痛點,協助快速處理繁瑣事務,達到事半功倍的效果,讓審計同仁有較多時間專注發想查核議題,及取得所需審計證據等重要工作,提升整體審計成效。
經統計審計同仁使用審計助理的心得,相關作業AI回答之完成度約6至7成,使用者滿意度約8至9分(滿分10分),按滿意度高低排序,依序為「會推薦同仁使用本功能」、「可相對降低資安風險」、「有助提升工作效率」、「回答內容具參考性」、「可判斷回答的對錯」。相對而言,「可判斷回答的對錯」的滿意度較低,這顯示審計同仁在使用AI時仍保持謹慎,對AI的回答內容持有懷疑精神。
為因應資安問題及避免問答內容外洩,除提醒審計同仁勿將非公開或機敏資料上傳網路,另建議使用本部建置具資安保障之專屬ChatGPT服務環境(即SafeGPT[2])。此外,由於可能存在AI幻覺,產出不正確或荒謬的答案,審計同仁應保有判斷力及小心驗證,避免過度信任或依賴生成式AI,同時須注意可能存在的限制與風險,並將相關問答列入工作底稿。
持續探索AI功能與審計應用
NotebookLM是Google於2023年推出的AI筆記神器,透過結合LLM與RAG技術,協助使用者更有效地進行研究和寫作,並確保回答的準確性與相關性。NotebookLM與其他生成式AI的最大差異,在於它依循使用者提供的資訊,限制對話內容的產出,有效避免AI幻覺。此外,NotebookLM具備光學字元辨識(Optical Character Recognition, OCR),可快速讀取掃描檔中的文字影像。在審計工作中,可用於快速整理法令規定、採購契約條文、判決書、研究報告、新聞報導等大量文字內容,透過提示工程擷取所需重點,有助審計人員能更高效地掌握海量資訊。
Deep Research是近期生成式AI推出的新功能(圖2),將原本的回答問題,推升到「深度研究」層次。Deep Research像是一位訓練有素的研究員或分析師,具有超強資訊搜尋檢索能力,能夠自主地進行多步驟的研究和分析,最後生成全面且有據可查的報告。該功能為研究人員和專業人士帶來前所未有的便利,大幅縮短資料搜尋、研讀(含翻譯)、整理、彙整的時間,並提供完整研究報告內容,包含文獻蒐集、資料分析比較、建議意見及參考資料來源等,但使用者仍需要注意驗證資料來源,並對結果持批判性態度。在審計工作上,可用於彙整查核議題相關的國外行政機關優良作法,或國外審計機關調查報告等,以強化審計意見的參考性。

結語
如同微軟創辦人比爾蓋茲所言:「透過人工智慧,智慧將變得幾乎免費(Through AI, intelligence will become nearly free)。」隨著AI模型和功能持續快速發展,取得資訊和知識變得更加便利。然而,為避免被AI綁架思考能力,建議使用者應保持批判性思考,將AI視為輔助工具,著重於強化而非取代本身的核心能力。審計部積極響應政府的數位轉型政策,經審慎評估及同仁的嘗試與努力,生成式AI正逐步改變審計作業的模式,值得令人期待。
本文作者為審計部第五廳稽察胡志誠,授權轉載自《國家人力資源論壇》。更多精彩內容,請<點此>
[1] 資訊發布:「政府審計資訊發布」由審計機關於審計部官方網站公開重要的審計資訊。
[2] SafeGPT(審計機關ChatGPT安全服務):係購置微軟Azure OpenAI服務,於Azure平臺建置審計部專屬之ChatGPT服務環境,目前採用GPT 4o模型,以安全連線方式(Site to Site VPN)提供審計同仁使用。依據採購契約資料保密協議,乙方(共同供應契約商)對用於雲端訓練或回應分析的所有資料保密,不得向任何第三方透露、公開或洩露。