為了評估這些風險的適用範圍，Unit 42 威脅情報小組的研究人員使用了兩種不同的開源代理框架——CrewAI和AutoGen——兩個功能相同的應用程式，並對兩者執行相同的攻擊。研究發現，大多數漏洞和攻擊向量基本上與框架無關，主要來自不安全的設計模式、錯誤的設定以及風險工具整合，而非框架本身的缺陷。
Unit 42 威脅情報小組研究人員也針對每種攻擊情境提出了防禦策略，並分析其有效性和限制。為了支援研究的再現性及後續研究，他們已在GitHub上開源了所有原始碼和資料集。
關鍵發現
- 提示詞注入並非必要。即使未執行明確的提示詞注入攻擊，只要提示設計未妥善限制範圍或缺乏安全性，仍可能遭到濫用、入侵AI代理。
- 緩解措施：在代理指令中強化安全防護機制，明確阻擋超出範圍的請求，以及防止指令或工具結構被提取。
- 提示詞注入仍是最強大且多功能的攻擊向量：這種攻擊能夠導致資料外洩、工具濫用或代理行為被惡意操控。
- 緩解措施：部署內容過濾機制，在系統運行時偵測並即時阻擋提示詞注入的嘗試。
- 設定錯誤或存在漏洞的工具會會顯著擴大攻擊面並加劇潛在風險。
- 緩解措施：對所有工具輸入進行資料淨化，實施嚴格的存取控制，並定期執行安全測試，如靜態應用程式安全測試(SAST)、動態應用程式安全測試(DAST)或軟體組成分析(SCA)。
- 不安全的程式碼解譯器會使代理暴露在任意程式碼執行風險中，並可能導致未經授權存取主機資源和網路：
- 緩解措施：實施具備網路限制、系統呼叫過濾功能和最低權限容器設定的強化沙箱環境。
- 憑證洩漏：例如服務令牌 (tokens) 或機密資訊的外洩，可能導致身分冒用、權限提升或基礎設施被入侵。
- 緩解措施：採用資料外洩防護(DLP)解決方案、完善的稽核日誌系統和專業的機密管理服務來保護敏感資訊。
- 單一緩解措施不足以應對風險：必須採用多層次、縱深防禦策略才能有效降低代理式應用程式的安全風險。
- 緩解措施：整合多重防護機制，涵蓋代理、工具、提示詞和運行環境，以建立具韌性的防禦架構。
這份研究特別強調的是，CrewAI和AutoGen本身並無固有漏洞。本研究中提出的攻擊情境主要凸顯了系統性風險，這些風險源於語言模型在抵抗提示詞注入方面的局限性，以及整合工具中的錯誤設定或安全漏洞——而非特定框架本身的問題。因此，研究結果和建議的緩解措施廣泛適用於各種代理式應用程式，不受其基礎框架影響。
Palo Alto Networks透過Prisma AIRS（AI運行安全）重新定義了AI安全領域——為您的AI應用程式、模型、資料和代理提供即時全方位的保護。透過智慧分析網路流量和應用程式行為，Prisma AIRS能主動偵測並防止各種複雜威脅，包括提示詞注入、阻斷服務攻擊和資料外洩等。該解決方案在網路和API層級均提供無縫的內聯防護機制。
同時，AI存取安全解決方案為第三方生成式AI（GenAI）的使用提供深度可視性和精確控制能力。透過政策執行和使用者活動監控，有效防範隱藏式AI風險、資料洩漏以及AI輸出中可能存在的惡意內容。這些解決方案共同構建了多層次防禦體系，確保AI系統的運作完整性及外部AI工具的安全使用。
Unit 42 AI安全評估服務可協助您主動識別最可能威脅您AI環境的潛在風險。
若您懷疑系統已遭入侵或面臨緊急安全事件，請立即聯絡Unit 42專業事件應變團隊。
欲了解更多資訊，請訪問https://unit42.paloaltonetworks.com/agentic-ai-threats/
關於Palo Alto Networks
Palo Alto Networks (納斯達克股票代碼：PANW)作為全球網路安全領導者，致力於透過持續創新，守護數位時代的生活與發展。受到全球超過70,000家企業和組織的信賴，Palo Alto Networks提供涵蓋網路、雲端、安全營運與人工智慧領域的全方位AI驅動資安解決方案，並結合Unit 42的威脅情報與專業團隊，全面強化防護能力。Palo Alto Networks專注推動資安平台化策略，協助企業在大規模運作中簡化安全管理，讓資安成為推動創新的關鍵動能。歡迎探索更多www.paloaltonetworks.com
- 本文為作者投稿，僅代表作者個人之觀點與意見，與本平台立場無關。涉及之著作權、言論及法律相關責任，均由作者自行承擔。
- 我已確實了解，台灣新聞聯播網擁有審核及決定是否刊登的權利。如新聞稿有違反法規或被檢舉的疑慮，台灣新聞聯播網有權將其下架刪除，且不另行通知及解釋。
