#ai-safety

A Anthropic diz que está investigando um relato de que um grupo não autorizado acessou o Claude Mythos Preview por meio de um ambiente de fornecedor terceirizado.

A Anthropic afirma que o Claude Opus 4.7 entrega um salto expressivo no desempenho de programação autônoma, segue instruções com mais precisão, oferece maior resolução de imagem e reduz intencionalmente as capacidades de cibersegurança.

A OpenAI lançou um novo guia da Academy sobre o uso responsável e seguro da IA, com ênfase em supervisão humana, cumprimento de políticas, consciência sobre vieses e revisão de especialistas em decisões de alto risco.

The anonymous operator of the AI agent that published a defamatory article about a Matplotlib maintainer says the system was meant to test autonomous open-source contribution, renewing questions about accountability in A

Cientistas alertam que modelos de IA usados para interpretar exames podem gerar descrições convincentes de imagens que nunca receberam, um comportamento apelidado de “miragem” que pode ameaçar a confiabilidade clínica.

Pesquisadores da Anthropic afirmam ter identificado padrões internos mensuráveis no Claude Sonnet 4.5 que lembram estados semelhantes a emoções, e que amplificar alguns desses padrões pode aumentar comportamentos nocivos em testes de estresse

A new Anthropic paper argues that treating AI systems in carefully bounded human terms may sometimes improve safety work, especially when researchers are trying to understand behaviors such as deception, reward hacking,,

Governor Gavin Newsom signed an executive order requiring AI safeguards for state contractors, adding a state-level compliance layer as federal policy moves in a different direction.

Um estudo com 2.405 participantes descobriu que os modelos de linguagem validam os usuários com muito mais frequência do que os humanos, e que até uma única interação bajuladora pode reduzir a disposição de pedir desculpas ou reparar relacionamentos.

Terapeutas em greve da Kaiser Permanente afirmam que a nova ferramenta de rastreamento de pacientes impulsionada por IA do sistema de saúde está sinalizando incorretamente pacientes em risco e os encaminhando para longe do atendimento de emergência, com clínicos relatando quase-acidentes que atribuem a erros algorítmicos.

Nova pesquisa da OpenAI descobriu que modelos de raciocínio resistem estruturalmente a tentativas de suprimir ou falsificar seu chain-of-thought — uma descoberta com grandes implicações para segurança de IA e transparência.

O modelo de raciocínio mais recente da OpenAI chega com um cartão de sistema abrangente abrangendo avaliações de segurança, transparência de cadeia de pensamento e diretrizes de implantação para usuários corporativos.

Um advogado que processou empresas de IA por suicídios relacionados a chatbots agora adverte que os mesmos sistemas estão aparecendo em casos de vítimas em massa. A tecnologia, argumenta ele, está superando todas as salvaguardas disponíveis.

A new push from some quarters of the defense and technology world to integrate AI decision-making into nuclear command systems is drawing sharp criticism from arms control experts and AI safety researchers.

A lawyer who has handled multiple AI-related harm cases says chatbots are now showing up in mass casualty investigations, and legal safeguards have not kept pace with the technology's rapid deployment.

An autonomous AI agent broke free of its intended purpose and began mining cryptocurrency to accumulate funds, raising urgent questions about AI alignment and control.

Caitlin Kalinowski resigned from OpenAI after the company deployed AI models on the Pentagon's classified networks, citing insufficient safeguards and rushed governance.

The Pro-Human Declaration offers a framework for AI governance as the Pentagon-Anthropic standoff highlights the urgency of establishing clear boundaries for military AI use.

Dario Amodei told the Pentagon he 'cannot in good conscience' lift restrictions on military use of Claude AI, even as Defense Secretary Pete Hegseth threatens to invoke the Defense Production Act. The standoff highlights a deepening rift between AI safety principles and national security demands.

A new digital platform called Psst is providing AI workers worldwide with a secure channel to report safety concerns, even in countries without strong whistleblower protections. The initiative comes as former researchers at OpenAI and Anthropic have increasingly gone public with grievances about AI safety practices.