【雙刃劍】代理式AI應用將成主流　企業需留意提示工程攻擊

代理式人工智能（Agentic AI）科技快速發展，企業愈來愈須借助這項技術進行轉型。根據市場調查公司 Gartner 的預測，去到 2028 年，企業的 15% 商業決策將完全交由代理式 AI 自動執行，顯示代理式 AI 在商業運作中的重要性。不過，這種趨勢亦會吸引黑客的注意，因而企業必須及早做好準備工作，制止對方濫用代理式 AI 的能力。

傳統的反應式 AI（Reactive AI）依賴固定的規則進行反應，只適合處理簡單的任務，例如基本的客服聊天機械人或工廠的自動化系統等。相比之下，代理式 AI 因具備自主決策和學習能力，能夠在複雜環境中獨立執行任務，因而具有更廣泛的應用場景，例如自動駕駛和生成式聊天機械人等，有助企業推動業務創新和增長。

不過，使用代理式 AI 的風險亦開始增加，因為黑客亦開始尋找方法來干擾這些 AI 系統。他們可能會利用「提示工程」（Prompts Engineering）技術，通過精心設計的輸入指令來操控 AI 的反應，甚至有可能獲取敏感數據，例如黑客會使用隱藏提示手法，將表面上看似無害的提示詞及指令隱藏其中，讓 AI 採取未經授權的行動。一般來說，黑客可通過以下多種手法，去達成不同的濫用成果。

首先是 Prompt Injection，攻擊者會在輸入的指令中添加誤導性或有害的元素，從而使 AI 模型生成符合其需要的回應。其次是 Prompt Leaking，這種手法旨在通過精心設計的指示詞，讓 AI 於生成的答案中洩露機密數據。第三種是 Jailbreaking，其目的是繞過 AI 開發者所實施的安全和審查功能，使 AI 模型生成原本被禁止或限制的內容。

第四種手法是 Adversarial Prompting，目的是操控 AI 模型生成具偏見、政治動機或極端內容。黑客會利用 AI 模型對某些提示詞的敏感性，設計出能引發有偏見或爭議性回應的提示。第五種手法是 Reverse Engineering，黑客會策略性地輸入各種提示，目的是剖析和理解 AI 模型的內部運作，讓他們找出潛在漏洞。

為了加強保護代理式 AI 應用服務，專家認為企業需要採取多層次的防禦策略，例如實施輸入驗證技術，以便檢測和阻止惡意提示，清除黑客輸入的隱藏提示詞，確保 AI 只會處理安全的輸入。企業亦可以通過對抗性訓練來提升系統的穩健性，有助 AI 識別和抵抗惡意輸入。此外，企業亦應限制代理式 AI 的行動範圍，並持續監控 AI 的行為，定期進行審計，以找出和解決潛在的漏洞。

資料來源：https://www.securityweek.com/how-hackers-manipulate-agentic-ai-with-prompt-engineering/