AI & Robotics
OpenAI Detalha Como ChatGPT Bloqueia Injeção de Prompts
OpenAI publica seus princípios de design para proteger agentes IA contra injeção de prompts e engenharia social em fluxos de trabalho de agentes.
Key Takeaways
- Abordagem de defesa em profundidade com hierarquia de instruções, restrições de ação e monitoramento de fluxo de dados
- Ações de agente de alto risco sempre requerem confirmação explícita do usuário
- Modelo treinado com RLHF para reconhecer e resistir a técnicas de injeção
DE
DT Editorial AI··via openai.com