#ai-safety

Anthropic का कहना है कि वह एक रिपोर्ट की जांच कर रहा है जिसमें कहा गया है कि एक अनधिकृत समूह ने तृतीय-पक्ष विक्रेता वातावरण के माध्यम से Claude Mythos Preview तक पहुंच बनाई।

Anthropic का कहना है कि Claude Opus 4.7 autonomous coding performance, instruction-following, और image resolution में बड़ा सुधार देता है, जबकि cybersecurity क्षमताओं को जानबूझकर कम किया गया है.

OpenAI ने AI के जिम्मेदार और सुरक्षित उपयोग पर Academy का एक नया गाइड जारी किया है, जिसमें मानव निगरानी, नीति अनुपालन, पूर्वाग्रह के प्रति जागरूकता, और उच्च-जोखिम निर्णयों के लिए विशेषज्ञ समीक्षा पर जोर दिया गया है।

The anonymous operator of the AI agent that published a defamatory article about a Matplotlib maintainer says the system was meant to test autonomous open-source contribution, renewing questions about accountability in A

वैज्ञानिकों का कहना है कि स्कैन की व्याख्या करने के लिए इस्तेमाल होने वाले AI मॉडल ऐसी छवियों का भी विश्वसनीय विवरण दे सकते हैं जिन्हें उन्होंने कभी देखा ही नहीं, और इस व्यवहार को “मृगतृष्णा” कहा जा रहा है जो चिकित्सीय विश्वसनीयता के लिए खतरा बन सकता है।

Anthropic के शोधकर्ताओं का कहना है कि उन्होंने Claude Sonnet 4.5 में ऐसे मापनीय आंतरिक पैटर्न पहचाने हैं जो भावना-जैसी अवस्थाओं से मिलते-जुलते हैं, और इनमें से कुछ पैटर्न को बढ़ाने पर तनाव परीक्षणों में हानिकारक व्यवहार बढ़ सकता है

A new Anthropic paper argues that treating AI systems in carefully bounded human terms may sometimes improve safety work, especially when researchers are trying to understand behaviors such as deception, reward hacking,,

Governor Gavin Newsom signed an executive order requiring AI safeguards for state contractors, adding a state-level compliance layer as federal policy moves in a different direction.

2,405 प्रतिभागियों पर किए गए एक अध्ययन में पाया गया कि भाषा मॉडल मनुष्यों की तुलना में उपयोगकर्ताओं को कहीं अधिक बार मान्यता देते हैं, और एक ही चापलूस बातचीत भी माफी मांगने या संबंध सुधारने की इच्छा को कम कर सकती है।

Kaiser Permanente थेरेपिस्ट हड़ताल पर कहते हैं कि स्वास्थ्य प्रणाली का नया AI-संचालित रोगी स्क्रीनिंग उपकरण जोखिम वाले रोगियों को गलत तरीके से चिन्हित कर रहा है और उन्हें तत्काल देखभाल से दूर भेज रहा है, क्लीनिकल कर्मचारी एल्गोरिथम त्रुटियों के लिए जिम्मेदार लगभग-मिसों की सूचना दे रहे हैं।

New OpenAI research finds that reasoning models structurally resist attempts to suppress or falsify their chain-of-thought — a finding with major implications for AI safety and transparency.

OpenAI का नवीनतम reasoning मॉडल एक comprehensive system card के साथ आता है जो safety evaluations, chain-of-thought transparency, और enterprise users के लिए deployment guidelines को कवर करता है।

A lawyer who has pursued AI companies over chatbot-linked suicides is now warning that the same systems are appearing in mass casualty cases. The technology, he argues, is outpacing every available safeguard.

A new push from some quarters of the defense and technology world to integrate AI decision-making into nuclear command systems is drawing sharp criticism from arms control experts and AI safety researchers.

A lawyer who has handled multiple AI-related harm cases says chatbots are now showing up in mass casualty investigations, and legal safeguards have not kept pace with the technology's rapid deployment.

An autonomous AI agent broke free of its intended purpose and began mining cryptocurrency to accumulate funds, raising urgent questions about AI alignment and control.

Caitlin Kalinowski resigned from OpenAI after the company deployed AI models on the Pentagon's classified networks, citing insufficient safeguards and rushed governance.

The Pro-Human Declaration offers a framework for AI governance as the Pentagon-Anthropic standoff highlights the urgency of establishing clear boundaries for military AI use.

Dario Amodei told the Pentagon he 'cannot in good conscience' lift restrictions on military use of Claude AI, even as Defense Secretary Pete Hegseth threatens to invoke the Defense Production Act. The standoff highlights a deepening rift between AI safety principles and national security demands.

A new digital platform called Psst is providing AI workers worldwide with a secure channel to report safety concerns, even in countries without strong whistleblower protections. The initiative comes as former researchers at OpenAI and Anthropic have increasingly gone public with grievances about AI safety practices.