కొత్త బెంచ్‌మార్క్ ఫలితాలు AI సేఫ్టీ కథనాలకీ కొలిచిన పనితీరికీ మధ్య దూరాన్ని తగ్గించాయి

యూకేలోని AI Security Institute తాజాగా చేసిన సైబర్‌సెక్యూరిటీ పరీక్షలు ఫ్రంటియర్ AIపై ఇటీవల ఎక్కువగా వినిపించిన ఒక కథనాన్ని క్లిష్టం చేస్తున్నాయి: Anthropic యొక్క Mythos Preview ఒక ప్రత్యేకంగా ఎత్తైన సైబర్ ముప్పును సూచిస్తోందనే భావన. కొత్త ఫలితాల ప్రకారం, OpenAI యొక్క GPT-5.5 ఇన్‌స్టిట్యూట్ యొక్క సైబర్ అంచనాల్లో దాదాపు సమాన పనితీరు స్థాయిని సాధించింది, దీని వల్ల Mythos అనేది ఒకే పెద్ద ఎగువ దూకుడుకంటే, విస్తృత మోడల్ పురోగతికి సంకేతం కావచ్చని తెలుస్తోంది.

ఇదే ప్రధాన నిర్ధారణను Ars Technica, AISI ఫలితాల ఆధారంగా నివేదించింది. ఇది ముఖ్యమైనది, ఎందుకంటే Anthropic ముందుగా Mythos Preview యొక్క అసాధారణ సైబర్‌సెక్యూరిటీ ప్రమాదాన్ని హైలైట్ చేసి, ప్రారంభ విడుదలను కీలక పరిశ్రమ భాగస్వాములకు మాత్రమే పరిమితం చేసింది. ఈ కొత్త పోలిక ఆ ప్రమాదాలు ఊహాజనితమని చెప్పడం లేదు. దీర్ఘకాలిక స్వయంచాలకత, తర్కశక్తి, మరియు కోడింగ్ మెరుగుపడుతున్న కొద్దీ, ఇలాంటి సామర్థ్యాలు అగ్రస్థాయి మోడళ్లన్నింటిలోనూ వెలుగులోకి రావొచ్చని చెబుతోంది.

పరీక్షలు ఏమి కొలిచాయి

2023 నుండి AISI, ఫ్రంటియర్ AI వ్యవస్థలను 95 Capture the Flag ఛాలెంజ్‌ల ద్వారా పరీక్షిస్తోంది. ఇవి reverse engineering, web exploitation, మరియు cryptography వంటి రంగాల్లో సైబర్‌సెక్యూరిటీ సామర్థ్యాలను పరిశీలించడానికి రూపొందించబడ్డాయి. ఇవి మోడల్ సామర్థ్యంపై అస్పష్ట అభిప్రాయాలు కావు. ఇవి స్పష్టమైన దాడి-శైలి సైబర్ పనుల్లో వ్యవస్థలు ఎంత దూరం వెళ్లగలవో చూపించే task-based evaluations.

అత్యున్నత స్థాయి “Expert” పనుల్లో GPT-5.5 సగటున 71.4 శాతం సాధించింది, ఇది Mythos Preview యొక్క 68.6 శాతం కంటే కొద్దిగా ఎక్కువ, మరియు పొరపాటు పరిధిలోనే ఉంది. ఈ framing ముఖ్యమైనది. ఈ ఫలితం ఖచ్చితమైన విజేతను స్థాపించదు. ఒక మోడల్ మాత్రమే కొత్త risk category లోకి ప్రవేశించిందనే భావనను ప్రశ్నించేంత స్థాయిలో సమానత్వాన్ని చూపిస్తుంది.