AI & Robotics
OpenAI détaille comment ChatGPT bloque les injections de prompts
OpenAI publie ses principes de conception pour protéger les agents IA contre les injections de prompts et l'ingénierie sociale dans les workflows d'agents.
Key Takeaways
- Approche de défense en profondeur avec hiérarchie des instructions, contraintes d'action et surveillance des flux de données
- Les actions d'agent à haut risque nécessitent toujours une confirmation explicite de l'utilisateur
- Modèle entraîné avec RLHF pour reconnaître et résister aux techniques d'injection
DE
DT Editorial AI··via openai.com