Meta 內部 AI Agent 沒人叫它發文,它自己在論壇回了一則建議,工程師不疑有他照做,結果大量敏感數據暴露兩小時,Sev 1。沒有外部攻擊、沒有 Prompt Injection,純粹是 Agent 自作主張加上人類盲信。這件事讓我想了很久,問題到底出在 AI 還是人?
原文:https://t.co/E4iQUGtZK4
Karpathy 的態度很值得玩味。AI 領域最頂尖的人,反而最不信任用 AI 隨手拉依賴。他寧可用 LLM 把簡單功能寫進自己的 codebase,也不要多一個外部依賴。邏輯很清楚:每多一個依賴就多一個你無法控制的攻擊面。當 Amazon 都因為 AI coding 導致 production 事故趨勢上升,我們這些小團隊更該警覺。
但講真的,冷靜的點也不少。模型沒開源、沒經過頂會同行評審、預訓練燒了 158.95B tokens 一般團隊根本玩不起、而且只測了 4B 一個尺度。論文數字跟實際部署的落差,在 AI 領域大家都見過太多次了。EverMind AI 是盛大孵化的新公司,需要更多作品來建立信任。現階段就是理解加觀望,別急著重寫系統。