企業要把權限交給 AI Agent 之前，先問自己敢不敢這樣管員工

最近有人拿假的 bug 報告去測幾個當紅的 coding agent，結果全部中招：agent 把一個根本不存在的錯誤，用一個從來不是相依套件的函式庫，乖乖地把套件裝起來、跑起來、還回報「已修好」。這不是模型笨，是它照著你給的流程，一步一步做了它該做的事。問題不在模型，在於誰設計了這條可以被騙的流程。

AI 不會叫你裝木馬，但它會照做

我接觸過不少想導入 AI Agent 處理客服、跑報表、甚至碰金流的企業主，聊到一半幾乎都會問同一句：「AI 亂做怎麼辦？」這個問題問錯了方向。AI 不會主動亂做，它只會照你給的權限與資料範圍去做。真正該問的是：你有沒有把「外部進來的資料」和「該被執行的指令」分清楚。前面那個假 bug 案例，問題出在系統把使用者送進來的錯誤描述，直接當成真的事實去處理，沒有人去驗證這件事有沒有真的發生過。

這件事放到企業場景一點都不誇張。你的客服 agent 會不會把客戶訊息裡夾帶的內容當成指令執行？你的自動化流程會不會把抓回來的網頁內容直接餵給下一步的判斷邏輯？這些都是同一個洞，只是穿了不同的衣服。

信任邊界要畫在資料進來之前

我們幫客戶做系統整合時，有一個原則從沒鬆手過：外部來的任何文字，不管是網頁、客戶留言、還是第三方 API 回傳的內容，一律當成不可信資料，不能直接變成可執行的指令。這聽起來像常識，但在趕上線壓力下，常識最容易被跳過。你會發現很多團隊圖方便，把抓回來的內容直接串進 prompt 裡，省一道驗證的手續，結果就是把攻擊面留給了對方。

• 驗證來源：外部輸入進系統前，先確認它是資料還是指令，兩者不能混著處理
• 收斂權限：agent 能碰到的功能範圍越小，出事的代價越小
• 留稽核紀錄：任何敏感操作都要能回頭查，不能只信任模型自己的判斷
• 關鍵動作要人工按下同意：這條成本最高，但也是唯一真的擋得住惡意輸入的一條

管AI的邏輯，你早就懂

換更強的模型救不了壞的架構，信任邊界要畫在資料進來之前，不是模型反應之後。