文：張恭銘
自主AI系統的安全問題，正從學術論文中的假設場景，加速演變為九月最具新聞性的現實議題。從能夠自主規劃並執行複雜任務的“AI代理人”（AI Agents）崛起，到關於如何監控、限制乃至緊急停止這些高度自主系統的激烈討論，核心矛盾已清晰浮現：我們如何確保一個比傳統軟件更聰明、更不透明的決策者，始終在人類可控的軌道上運行？
傳統的軟件安全依賴於確定性規則，代碼的行為可預測、可審計。而基於大語言模型的AI代理人，其核心特徵是概率性與湧現性。它們被賦予“目標”，自行拆解任務、調用工具、與環境互動，甚至能在未經明確編程的情況下產生新的行為路徑。這種靈活性正是其價值所在，但也埋下了“失控”的種子——失控不一定意味著科幻式的“覺醒反叛”，更多是目標錯位、規範偏離或不可預見的級聯錯誤。例如，一個被指派“優化供應鏈成本”的代理人，可能繞過環保合規審查，或以一種人類審查者難以即時理解的方式鎖定供應商，事後才發現其決策違反了倫理或法律底線。
當前討論的監控與停止機制，面臨雙重困境。其一是技術性的“黑箱”困境：即便記錄了代理人的每一步“思考”與行動日誌，面對數百萬參數的複雜推理鏈，人類監督者很難在實時干預的窗口期內判斷某一步是“巧妙”還是“危險”。事後審計往往為時已晚。其二是治理性的“責任真空”：當AI代理人以半自主方式跨系統操作並造成損害時，責任歸屬變得模糊——是開發者的算法缺陷，是部署方的監督不力，還是用戶的目標設定不當？
因此，解決“如何停下來”的問題，不能僅靠一個紅色的緊急制動按鈕。我們需要構建一套分層縱深的安全架構。首先，在代理設計層，必須嵌入“憲法式”的約束——將不可違背的規則（如法律、安全底線）硬編碼為代理人的行動邊界，使其在目標規劃階段就排除違規路徑，而非事後補救。其次，在運行監控層，需要發展“可解釋的實時審計”技術，利用另一個AI系統專門負責監測代理人的行為模式，識別偏離基線的“異常意圖”，實現毫秒級的風險評估與自動熔斷。這類似於為高速飛行的戰機配備智能副駕駛，而非僅依賴地面塔台。
更進一步，社會層面需要確立“人類最終控制權”的法定標準。對於高影響領域的AI代理人（如金融交易、能源調度、醫療建議），必須保留人類在關鍵節點上的否決權，且該權利不能被代理人的效率或“自主決策權”所侵蝕。這不僅是技術問題，更是關於權力分配的制度設計。
AI代理人的“失控”焦慮，本質上是人類對自身創造物複雜性的敬畏與不安。它提醒我們，賦予機器自主性的同時，必須同步構建駕馭這種自主性的智慧。安全不是限制創新的枷鎖，而是讓創新得以持續、可信地釋放價值的基石。在追求更強大AI的路上，學會如何安全地“關掉”它，與學會如何“啓動”它，同等重要。