【雙刃劍】代理式AI應用將成主流 企業需留意提示工程攻擊

代理式人工智能(Agentic AI)科技快速發展,企業愈來愈須借助這項技術進行轉型。根據市場調查公司 Gartner 的預測,去到 2028 年,企業的 15% 商業決策將完全交由代理式 AI 自動執行,顯示代理式 AI 在商業運作中的重要性。不過,這種趨勢亦會吸引黑客的注意,因而企業必須及早做好準備工作,制止對方濫用代理式 AI 的能力。
傳統的反應式 AI(Reactive AI)依賴固定的規則進行反應,只適合處理簡單的任務,例如基本的客服聊天機械人或工廠的自動化系統等。相比之下,代理式 AI 因具備自主決策和學習能力,能夠在複雜環境中獨立執行任務,因而具有更廣泛的應用場景,例如自動駕駛和生成式聊天機械人等,有助企業推動業務創新和增長。
不過,使用代理式 AI 的風險亦開始增加,因為黑客亦開始尋找方法來干擾這些 AI 系統。他們可能會利用「提示工程」(Prompts Engineering)技術,通過精心設計的輸入指令來操控 AI 的反應,甚至有可能獲取敏感數據,例如黑客會使用隱藏提示手法,將表面上看似無害的提示詞及指令隱藏其中,讓 AI 採取未經授權的行動。一般來說,黑客可通過以下多種手法,去達成不同的濫用成果。
首先是 Prompt Injection,攻擊者會在輸入的指令中添加誤導性或有害的元素,從而使 AI 模型生成符合其需要的回應。其次是 Prompt Leaking,這種手法旨在通過精心設計的指示詞,讓 AI 於生成的答案中洩露機密數據。第三種是 Jailbreaking,其目的是繞過 AI 開發者所實施的安全和審查功能,使 AI 模型生成原本被禁止或限制的內容。
第四種手法是 Adversarial Prompting,目的是操控 AI 模型生成具偏見、政治動機或極端內容。黑客會利用 AI 模型對某些提示詞的敏感性,設計出能引發有偏見或爭議性回應的提示。第五種手法是 Reverse Engineering,黑客會策略性地輸入各種提示,目的是剖析和理解 AI 模型的內部運作,讓他們找出潛在漏洞。
為了加強保護代理式 AI 應用服務,專家認為企業需要採取多層次的防禦策略,例如實施輸入驗證技術,以便檢測和阻止惡意提示,清除黑客輸入的隱藏提示詞,確保 AI 只會處理安全的輸入。企業亦可以通過對抗性訓練來提升系統的穩健性,有助 AI 識別和抵抗惡意輸入。此外,企業亦應限制代理式 AI 的行動範圍,並持續監控 AI 的行為,定期進行審計,以找出和解決潛在的漏洞。
資料來源:https://www.securityweek.com/how-hackers-manipulate-agentic-ai-with-prompt-engineering/