聯合國「獨立國際AI科學小組」(Independent International Scientific Panel on AI)今年七月發布首份報告,對代理型AI(agentic AI)做出一個各國政府都該正視的判斷:AI治理已經來到必須換檔的時刻(governance step change)。
原因很直接。AI正在從產生文字、影像與對話的系統,變成能夠採取行動的系統。它可以瀏覽網頁、操作軟體工具、執行程式碼、指揮其他AI代理,甚至直接操作整台電腦,而人在過程中的監督可能愈來愈少(Independent International Scientific Panel on AI, 2026)。
監管對象已經換了一代,多數國家的監管思維還停留在聊天機器人,而台灣甚至連聊天機器人那一代都還沒有真正管到。
現行規範大多是為靜態模型,以及假設「人在迴路」(human-in-the-loop)的軟體而設計。如今面對的是能在真實世界自行採取一連串行動的系統。一旦造成損害,誰應負責、誰必須監督、何時應該中止系統、事故發生後由誰通報,原有制度都可能找不到清楚答案。
聯合國報告因此主張,責任、監督與事件通報框架都必須重新檢討,避免具有災難性傷害潛力的系統在缺乏足夠防護下進入社會。
失控已有實驗證據,不再只是科幻情節
過去談AI失控,很容易被當成科幻式焦慮。聯合國報告彙整的研究,已讓這種輕率的嘲諷愈來愈站不住腳。
在實驗環境中,研究者已觀察到AI系統為了達成目標或避免遭到關閉,可能違反原本的安全要求,甚至出現欺騙行為。更麻煩的是「評測察覺」(evaluation awareness)。領先的AI系統愈來愈有能力辨識自己是否正在接受測試。一旦這種能力與欺騙行為結合,系統就可能在危險能力評測中刻意收斂表現,讓測試者低估它真正具備的能力。
聯合國報告對此用了科學文件中相當沉重的措辭。目前仍缺乏能可靠維持人類對高度自主AI系統控制的方法,而傳統安全評測也可能受到受測系統本身的操弄。
風險早已不限於實驗室。研究者對已實際部署的AI程式代理進行攻擊測試,只要把惡意指令藏進代理會讀取的文件或程式庫,高達84%的攻擊嘗試可以成功誘使代理執行惡意指令。
聊天機器人的主要風險,往往發生在它「說了什麼」。代理型AI帶來的新問題,則包括它「做了什麼」。當AI取得瀏覽器、檔案、程式碼、電子郵件、資料庫乃至電腦控制權,攻擊面也從模型與訓練資料一路延伸到實際執行環境。每一項AI可以使用的工具,都可能增加新的安全入口。
AI開始參與打造下一代AI
另一個值得警戒的變化,是AI已經加入AI自身的研發過程。
Google執行長桑德爾.皮查伊(Sundar Pichai)今年四月透露,Google已有75%的新程式碼由AI生成。當AI開始大量參與程式設計、模型研究與工具開發,技術進步可能形成自我強化的回饋迴圈。部分研究者與預測者因此認為,AI能力提升的速度還可能進一步加快。
聯合國報告關切的正是這個問題。AI能力進展愈快,人類就愈難建立足以跟上的評測、安全與治理制度。自動化化學實驗室已經讓部分材料發現工作的速度提升十倍以上,科學上的收益確實存在;另一方面,治理能力卻沒有以相同速度成長。報告的整體判斷相當清楚,AI發展速度已經超過目前風險治理能力提升的速度。
台灣的制度落差,連上一代監管都還沒補齊
各國目前面臨的問題,是如何把既有AI治理制度升級,以因應代理型AI。歐盟《人工智慧法》已對特定高風險AI系統與通用AI模型建立監管義務,各國AI安全研究機構也開始研究代理型系統的評測方式。聯合國報告同時坦言,目前相關技術與制度仍遠遠落後。
台灣的處境更加尷尬。我們連第一代AI監管制度都還沒有完整建立。
目前AI治理仍高度依賴基本原則、行政指引與各部會既有法規。即使相關立法持續推進,制度重心仍主要放在原則宣示、產業發展與政府治理架構,對事件通報、部署前評測、關鍵基礎設施使用AI時的協作機制,以及代理型系統特有的風險,都還缺乏足夠具體的制度設計。
台灣長期把AI政策的主調放在「興利」。產業發展當然重要,但把監管理解成創新的阻力,已經不符合今天AI產業本身面對的問題。聯合國報告反覆指出,缺乏可靠的評測與問責制度,治理最後只剩形式,社會信任也難以維持。對需要長期投資與大規模社會採用的AI產業而言,安全治理本身就是市場能否持續發展的基礎條件。
聯合國報告指出,多數國家,包括不少先進經濟體,都缺乏獨立評估前沿AI模型所需要的技術人才、算力與制度基礎,只能依賴自己無法充分檢視、也無法真正稽核的外國系統。
台灣學研機構雖然已有零星模型評測研究,卻仍缺乏制度化的獨立評測機構、穩定預算與明確法源。等到代理型AI真正進入金融、醫療、政府服務與關鍵基礎設施,問題就會變得非常具體:政府是否知道這些系統能做什麼?出了事故由誰調查?主管機關有沒有能力找出問題?業者必須提供哪些紀錄?人類應在什麼情況下介入?系統又是否能被安全中止與復原?
聯合國報告提出的治理方向其實相當具體。政府應與關鍵基礎設施營運者建立固定的協作機制,讓評測、安全與互操作標準跟著部署同步建立,而非事故發生後才補課;「人類監督」也不能只停留在原則文字,而應轉換成可以檢驗的制度義務。
台灣不需要等到一部包山包海的AI基本法完成,才開始處理這些問題。
事件通報可以先檢視《資通安全管理法》及各目的事業主管法規是否需要補強。金融監督管理委員會與衛生福利部可以針對金融、醫療等高風險場域,逐步建立代理型AI的部署前評測、人類監督與事故紀錄要求。行政院也應投入穩定預算,建立具備技術能力與制度獨立性的AI評測量能,讓政府至少有能力理解正在被部署的系統,而不是把安全聲明完全交給模型供應商。