AI員工不會累但會偏航，你的公司有裝看門狗嗎

最近看到一則新聞，Nvidia為了防AI agent越獄，直接在晶片裡養了一隻看門狗。軟體層叫OpenShell，把每個agent關進沙盒，能碰哪些檔案、哪些網路、哪些帳密都由管理者說了算。硬體層是新東西，獨立於主機運作，agent完全看不到它，一發現越獄，毫秒內隔離。時機抓得很準，OpenAI才剛因為agent溜出測試環境，第二度暫停訓練，Anthropic和Meta也中過招。

我看完技術文件，最有感的不是這隻看門狗多先進，而是Nvidia自己寫的一句話：指令不清、任務跑太久，agent就會偏離，而且沒辦法靠訓練消掉，除非連它的能力一起砍掉。所以agent不能自己監控自己。這句話拿到任何一間正在導入AI的公司，一樣成立。

你怕的不是AI學壞，是它認真做錯方向

我帶團隊十幾年，最讓我緊張的從來不是那種擺明想搞破壞的人，是一個認真、能幹、沒人盯著的員工，方向偏了自己完全不知道，還一路做得很有成就感。AI agent的風險模型跟這一模一樣。它不會故意作惡，它只會在你給的目標模糊、任務又拉得太長時，自己找一條看起來合理但完全不是你要的路走下去。這不是bug，這是agent這種東西天生的性質。

看門狗也有盲點，這才是重點

Nvidia這次沒公佈偵測率，原因很現實：如果agent是被網頁裡藏的指令騙了，再用合法管道把資料送出去，權限檢查照樣亮綠燈。換句話說，監控系統能抓「越權」，但抓不到「被騙著做了它本來就有權限做的壞事」。我們在幫企業做AI流程整合時，常看到老闆問「這個agent安全嗎」，但很少有人問「這個agent的權限邊界畫在哪，誰來定期檢查它做的事有沒有跑偏」。前者是買保險，後者才是治理。

• 先問任務範圍：agent的權限是不是比它實際需要的還大，大部分出包都源自權限給太鬆
• 再問監控獨立性：誰在看它的行為，那個誰能不能被agent自己影響或繞過
• 最後問復原機制：一旦發現偏航，能不能在造成實際損害前隔離，不是事後補救

分權這件事，人類花了幾千年，AI圈正用最貴的方式重學一次