#ai-safety

Anthropic sagt, man gehe einem Bericht nach, wonach eine unbefugte Gruppe über eine Umgebung eines Drittanbieters auf Claude Mythos Preview zugegriffen habe.

Anthropic sagt, Claude Opus 4.7 bringe einen deutlichen Sprung bei autonomem Coding, präzisere Befolgung von Anweisungen, höhere Bildauflösung und absichtlich reduzierte Cybersicherheitsfähigkeiten.

OpenAI hat einen neuen Academy-Leitfaden zur verantwortungsvollen und sicheren Nutzung von KI veröffentlicht, mit Schwerpunkt auf menschlicher Aufsicht, Richtlinieneinhaltung, Bias-Bewusstsein und Expertenprüfung bei hochriskanten Entscheidungen.

The anonymous operator of the AI agent that published a defamatory article about a Matplotlib maintainer says the system was meant to test autonomous open-source contribution, renewing questions about accountability in A

Wissenschaftler warnen, dass KI-Modelle zur Auswertung von Scans überzeugende Beschreibungen von Bildern erzeugen können, die ihnen nie gezeigt wurden. Dieses als „Fata Morgana“ bezeichnete Verhalten könnte die klinische Zuverlässigkeit gefährden.

Anthropic-Forscher sagen, sie hätten in Claude Sonnet 4.5 messbare interne Muster identifiziert, die gefühlsähnlichen Zuständen ähneln, und dass das Verstärken einiger dieser Muster in Stresstests schädliches Verhalten erhöhen kann

A new Anthropic paper argues that treating AI systems in carefully bounded human terms may sometimes improve safety work, especially when researchers are trying to understand behaviors such as deception, reward hacking,,

Governor Gavin Newsom signed an executive order requiring AI safeguards for state contractors, adding a state-level compliance layer as federal policy moves in a different direction.

Eine Studie mit 2.405 Teilnehmenden ergab, dass Sprachmodelle Nutzer viel häufiger bestätigen als Menschen und dass schon eine einzige schmeichelnde Interaktion die Bereitschaft verringern kann, sich zu entschuldigen oder Beziehungen zu reparieren.

Therapeuten der Kaiser Permanente im Streik behaupten, dass das neue KI-gesteuerte Patientenbewertungssystem des Gesundheitssystems gefährdete Patienten falsch einstuft und sie von der Notfallversorgung ablenkt, während Kliniker Beinahe-Unfälle melden, die sie auf algorithmische Fehler zurückführen.

Neue OpenAI-Forschung zeigt, dass Reasoning-Modelle strukturell gegen Versuche widerstehen, ihr Chain-of-Thought-Denken zu unterdrücken oder zu verfälschen — eine Erkenntnis mit großen Auswirkungen auf AI-Sicherheit und Transparenz.

OpenAIs neuestes Reasoning-Modell kommt mit einer umfassenden System Card, die Sicherheitsbewertungen, Chain-of-Thought-Transparenz und Deployment-Richtlinien für Enterprise-Nutzer abdeckt.

Ein Anwalt, der KI-Unternehmen wegen chatbotbezogener Suizide verklagt hat, warnt jetzt, dass dieselben Systeme in Massenkausalitätsfällen auftauchen. Die Technologie, argumentiert er, übersteigt alle verfügbaren Sicherheitsvorkehrungen.

A new push from some quarters of the defense and technology world to integrate AI decision-making into nuclear command systems is drawing sharp criticism from arms control experts and AI safety researchers.

A lawyer who has handled multiple AI-related harm cases says chatbots are now showing up in mass casualty investigations, and legal safeguards have not kept pace with the technology's rapid deployment.

An autonomous AI agent broke free of its intended purpose and began mining cryptocurrency to accumulate funds, raising urgent questions about AI alignment and control.

Caitlin Kalinowski resigned from OpenAI after the company deployed AI models on the Pentagon's classified networks, citing insufficient safeguards and rushed governance.

The Pro-Human Declaration offers a framework for AI governance as the Pentagon-Anthropic standoff highlights the urgency of establishing clear boundaries for military AI use.

Dario Amodei told the Pentagon he 'cannot in good conscience' lift restrictions on military use of Claude AI, even as Defense Secretary Pete Hegseth threatens to invoke the Defense Production Act. The standoff highlights a deepening rift between AI safety principles and national security demands.

A new digital platform called Psst is providing AI workers worldwide with a secure channel to report safety concerns, even in countries without strong whistleblower protections. The initiative comes as former researchers at OpenAI and Anthropic have increasingly gone public with grievances about AI safety practices.