AI & Robotics
OpenAI が ChatGPT のプロンプト インジェクション ブロック方法を詳しく説明
OpenAI は、エージェント ワークフローでのプロンプト インジェクションおよびソーシャル エンジニアリングから AI エージェントを保護するための設計原則を公開しています。
Key Takeaways
- 指示階層、アクション制約、データフロー監視を備えた多層防御アプローチ
- 高リスク エージェント アクションは常に明示的なユーザー確認が必要
- RLHF でトレーニングされたモデル (注入技術を認識して抵抗するため)
DE
DT Editorial AI··via openai.com