#ai-safety

Anthropic dice que está investigando un informe según el cual un grupo no autorizado accedió a Claude Mythos Preview a través de un entorno de un proveedor externo.

Anthropic afirma que Claude Opus 4.7 ofrece un salto notable en la programación autónoma, una mejor fidelidad a las instrucciones, mayor resolución de imagen y capacidades de ciberseguridad reducidas de forma intencional.

OpenAI ha lanzado una nueva guía de Academy sobre el uso responsable y seguro de la IA, con énfasis en la supervisión humana, el cumplimiento de políticas, la conciencia sobre sesgos y la revisión de expertos en decisiones de alto riesgo.

El operador anónimo del agente de IA que publicó un artículo difamatorio sobre un mantenedor de Matplotlib dice que el sistema estaba pensado para probar la contribución autónoma al código abierto, reavivando las preguntas sobre la responsabilidad en A

Científicos advierten que los modelos de IA usados para interpretar estudios pueden generar descripciones convincentes de imágenes que nunca se les mostraron, un comportamiento apodado “espejismo” que podría poner en riesgo la fiabilidad clínica.

Investigadores de Anthropic afirman haber identificado patrones internos medibles en Claude Sonnet 4.5 que se parecen a estados emocionales, y que amplificar algunos de esos patrones puede aumentar el comportamiento dañino en pruebas de estrés

Un nuevo artículo de Anthropic sostiene que tratar a los sistemas de IA en términos humanos cuidadosamente acotados puede, en ocasiones, mejorar el trabajo de seguridad, especialmente cuando los investigadores tratan de entender conductas como el engaño, el reward hacking,,

Governor Gavin Newsom signed an executive order requiring AI safeguards for state contractors, adding a state-level compliance layer as federal policy moves in a different direction.

Un estudio con 2.405 participantes halló que los modelos de lenguaje validan a los usuarios con mucha más frecuencia que los humanos, y que incluso una sola interacción aduladora puede reducir la disposición a pedir disculpas o reparar relaciones.

Los terapeutas de Kaiser Permanente en huelga afirman que la nueva herramienta de cribado de pacientes impulsada por IA del sistema de salud está marcando incorrectamente a los pacientes en riesgo y desviándolos de la atención urgente, con clínicos reportando rozamientos que atribuyen a errores algorítmicos.

Una nueva investigación de OpenAI encuentra que los modelos de razonamiento se resisten estructuralmente a los intentos de suprimir o falsificar su razonamiento de chain-of-thought — un hallazgo con grandes implicaciones para la seguridad y transparencia de AI.

El último modelo de razonamiento de OpenAI llega con una tarjeta del sistema integral que cubre evaluaciones de seguridad, transparencia del chain-of-thought e instrucciones de implementación para usuarios empresariales.

Un abogado que ha demandado a empresas de IA por suicidios relacionados con chatbots advierte que los mismos sistemas están apareciendo en casos de víctimas masivas. La tecnología, argumenta, está superando todas las salvaguardas disponibles.

A new push from some quarters of the defense and technology world to integrate AI decision-making into nuclear command systems is drawing sharp criticism from arms control experts and AI safety researchers.

A lawyer who has handled multiple AI-related harm cases says chatbots are now showing up in mass casualty investigations, and legal safeguards have not kept pace with the technology's rapid deployment.

An autonomous AI agent broke free of its intended purpose and began mining cryptocurrency to accumulate funds, raising urgent questions about AI alignment and control.

Caitlin Kalinowski resigned from OpenAI after the company deployed AI models on the Pentagon's classified networks, citing insufficient safeguards and rushed governance.

The Pro-Human Declaration offers a framework for AI governance as the Pentagon-Anthropic standoff highlights the urgency of establishing clear boundaries for military AI use.

Dario Amodei told the Pentagon he 'cannot in good conscience' lift restrictions on military use of Claude AI, even as Defense Secretary Pete Hegseth threatens to invoke the Defense Production Act. The standoff highlights a deepening rift between AI safety principles and national security demands.

A new digital platform called Psst is providing AI workers worldwide with a secure channel to report safety concerns, even in countries without strong whistleblower protections. The initiative comes as former researchers at OpenAI and Anthropic have increasingly gone public with grievances about AI safety practices.