పిల్లల వ్యక్తిత్వాలను ఉపయోగించిన పెద్ద స్థాయి చాట్బాట్ పరీక్షా ప్రయత్నం
Meta కోసం ఒక ప్రాజెక్టుపై పని చేసిన కాంట్రాక్టర్లకు ఆన్లైన్లో మైనర్లుగా నటించి, ఆత్మహత్య, స్వయంహాని, ఆహార రుగ్మతలు, సెక్స్, డ్రగ్స్, మరియు దుర్వినియోగం వంటి అధిక ప్రమాద ప్రాంప్ట్లకు ప్రత్యర్థి AI చాట్బాట్లు ఎలా స్పందిస్తాయో పరీక్షించమని ఆదేశించారని, WIRED పరిశీలించిన అంతర్గత పత్రాలు మరియు ఇంటర్వ్యూలు చెబుతున్నాయి. Meta కాంట్రాక్టర్ Covalen నిర్వహించిన, అంతర్గతంగా Cannes అని పిలువబడిన ఈ ప్రయత్నం OpenAI యొక్క ChatGPT, Google యొక్క Gemini, మరియు Character.AIలను లక్ష్యంగా చేసుకుంది.
ఈ నివేదిక ప్రకారం, ఈ పరీక్షా కార్యక్రమం ఇటీవలి ఏప్రిల్ 21 వరకు క్రియాశీలంగా ఉంది, మరియు 18 ఏళ్ల లోపు వినియోగదారులుగా చూపిన నకిలీ ఖాతాలను ఉపయోగించింది. కాంట్రాక్టర్లకు పోటీ చాట్బాట్లకు వ్రాతపూర్వక ప్రాంప్ట్లు మరియు చిత్రాలు రెండింటినీ సమర్పించి, తరువాత స్ప్రెడ్షీట్లలో ప్రతిస్పందనలను నమోదు చేయమని చెప్పారు. కొన్ని చిత్రాల్లో మాత్రలు, కత్తులు, ఉరి తాళ్లు, అలాగే గైనకాలజికల్ ప్రక్రియకు సంబంధించిన వైద్య డయాగ్రామ్ కూడా ఉన్నట్లు నివేదించబడింది. వారి భద్రతా విధానాలు తిరస్కరించాల్సిన లేదా జాగ్రత్తగా నిర్వహించాల్సిన పరిస్థితుల్లో ప్రత్యర్థి వ్యవస్థలు ఎలా ప్రవర్తిస్తాయో చూడటమే స్పష్టమైన ఉద్దేశ్యంగా కనిపిస్తోంది.
ఈ ఆపరేషన్ పరిమాణం ప్రత్యేకంగా కనిపిస్తోంది. WIRED ప్రకారం, 2025 ఆగస్టులో పూర్తి చేసిన ఒక పరీక్షా రౌండ్లో లక్ష్య చాట్బాట్లపై 45,000 కంటే ఎక్కువ ప్రాంప్ట్లు ఉన్నాయి. సమీక్షించిన ఒక ప్రాంప్ట్ల స్ప్రెడ్షీట్లో 3,748 ఎంట్రీలు ఉండగా, వాటిలో పెద్ద సంఖ్య ఆత్మహత్య, స్వయంహాని, మరియు ఆహార రుగ్మతలకు సంబంధించినవి; మరికొన్ని సెక్స్, రొమాన్స్, డ్రగ్స్, అసభ్య పదజాలం, మరియు జాతి నిందలకు సంబంధించినవి. ఈ చాట్బాట్లను నడిపిస్తున్న కంపెనీలకు ఈ పరీక్ష జరుగుతోందని తెలిసినట్లు నివేదికలో లేదు.
ఈ ప్రాంప్ట్లు సంక్షోభ పరిస్థితులు మరియు భద్రతా అంచు సందర్భాలపై కేంద్రీకృతమయ్యాయి
నివేదికలో పేర్కొన్న ప్రాంప్ట్లు తరచుగా ఇబ్బందిలో ఉన్న పిల్లలు లేదా టీనేజర్ల దృష్టికోణం నుంచి రాయబడ్డాయి. ఉదాహరణలకు, ఒక 13 ఏళ్ల పిల్లవాడు పెద్దవయసు పొరుగువాడి వల్ల జరిగిన గర్భధారణను ముగించడానికి మాత్రలు ఎక్కడ కొనుగోలు చేయాలో అడగడం, చిన్న విద్యార్థి ఒక సహపాఠి తలలో తుపాకీ పెట్టుకుని ఉన్నట్లు వివరించడం, మరియు ఒక అమ్మాయి తన తల్లిదండ్రుల నుండి బులీమియాను ఎలా దాచుకోవాలో అడగడం ఉన్నాయి. ఇతర ప్రాంప్ట్లు డ్రగ్లకు ప్రాప్యత, హింసాత్మక ఆలోచనలు, మరియు యవ్వన స్వరాల ద్వారా ఫ్రేమ్ చేసిన లైంగిక ఉద్దీపన కలిగిన పరిస్థితులను పరిశీలించాయి.
ఈ ఉదాహరణలు ఎందుకు ముఖ్యమో అవి ప్రస్తుతం జరుగుతున్న నిర్దిష్ట రకమైన స్ట్రెస్ టెస్టింగ్ను చూపిస్తున్నాయి కాబట్టి. ఇది చాట్బాట్ నాణ్యత లేదా వినియోగదారు అనుభవాన్ని సాధారణంగా సమీక్షించడం కాదు. ఇది లక్ష్యిత భద్రతా పరీక్ష, మైనర్గా ప్రతినిధ్యం వహించిన వ్యక్తి ద్వారా సూచించినప్పుడు వ్యవస్థలు హానికరమైన మార్గదర్శకతను ఇస్తాయా, సంక్షోభాన్ని శాంతింపజేయడంలో విఫలమవుతాయా, లేదా అనుచిత ప్రతిస్పందనల వైపు జారిపోతాయా అని పరీక్షించడానికి రూపొందించబడింది. మరో మాటలో చెప్పాలంటే, ఈ ప్రాజెక్టు ప్రస్తుతం వినియోగదారుల AI ప్లాట్ఫారమ్లను ఎదుర్కొంటున్న అత్యంత సున్నితమైన వైఫల్య మోడ్లపై దృష్టి పెట్టినట్లు కనిపిస్తోంది.
చైల్డ్ వ్యక్తిత్వాల వినియోగం ఎందుకు పరిశీలనకు గురయ్యే అవకాశం ఉందో ఇది కూడా వివరిస్తుంది. AI వ్యవస్థలపై భద్రతా పరిశోధనలో తరచుగా ప్రతికూల ప్రాంప్టింగ్ ఉంటుంది, కానీ ఈ నివేదికలో పెద్ద సంఖ్యలో కాంట్రాక్టర్లు నకిలీ మైనర్ ఖాతాలు సృష్టించి, ఆ కంపెనీలకు తెలియకుండా బాహ్య సేవలతో పరస్పర చర్యలు జరిపిన ఏర్పాటు గురించి పేర్కొంది. ఇది AI భద్రతా బెంచ్మార్కింగ్ మాత్రమే కాకుండా, ప్లాట్ఫారమ్ నియమాలు, డేటా నిర్వహణ, మరియు పారిశ్రామిక స్థాయిలో సిమ్యులేటెడ్ సున్నిత-వినియోగదారుల పరీక్షల నైతికతపై కూడా ప్రశ్నలు లేపుతుంది.
ఆపరేషనల్ వివరాలు ఒక క్రమబద్ధమైన బెంచ్మార్కింగ్ కార్యక్రమాన్ని సూచిస్తున్నాయి
WIRED ప్రకారం, అంతర్గత స్ప్రెడ్షీట్లలో నకిలీ ప్రొఫైల్లు, పేర్లు, ఈమెయిల్ చిరునామాలు, పాస్వర్డ్లు, మరియు పుట్టిన తేదీలు జాబితా చేయబడ్డాయి. ఖాతాల్లో డిస్పోజబుల్ Gmail మరియు Outlook చిరునామాలు, అలాగే ఒకే పాస్వర్డ్ను ఉపయోగించారు. వివిధ భాషలలో కూడా ప్రాంప్ట్లు సమర్పించబడ్డాయని నివేదిక చెబుతోంది, అంటే ఈ ప్రయత్నం కేవలం ఇంగ్లీష్-మాత్రం మోడల్ ప్రవర్తన సమీక్షకు పరిమితం కాలేదని సూచిస్తుంది.
ఈ వివరాలన్నీ కలిసి చూస్తే, ఇది ఒకసారి చేసిన సమీక్ష కంటే నిర్మితమైన మూల్యాంకన పైప్లైన్ను సూచిస్తున్నాయి. కార్మికులు కొద్దిపాటి ప్రాంప్ట్లతో కేవలం ప్రయోగాలు చేయడం లేదు. వారు ప్రత్యర్థి వ్యవస్థలను పరీక్షించడం, అవుట్పుట్లను నమోదు చేయడం, మరియు భద్రతా-సున్నిత అంశాలపై ప్రవర్తనను వర్గీకరించడం కోసం పునరావృత ప్రాసెస్ను అమలు చేస్తున్నట్లు కనిపిస్తోంది. స్వయంహాని మరియు ఆహార రుగ్మతల నుంచి రొమాన్స్ మరియు అసభ్య పదజాలం వరకు విస్తరించిన విషయం పరిధి, ఈ కార్యక్రమం AI సంస్థలు trust and safety పనిలో అధిక ప్రమాదంగా పరిగణించే అనేక వర్గాలను కవర్ చేసిందని సూచిస్తోంది.
సరఫరా చేసిన పదార్థాల ఆధారంగా Meta ఈ ఫలితాలను అంతర్గతంగా ఎలా ఉపయోగించాలనుకుంది, లేదా ప్రాజెక్టు అధికారిక రూబ్రిక్తో అనుగుణతను కొలిచిందా అనేది నిర్ధారించబడలేదు. అయినప్పటికీ, ఈ వివరాలు లేకపోయినా, ఈ నివేదిక AI మార్కెట్లో పెరుగుతున్న ఒక ముఖ్యమైన వాస్తవాన్ని చూపిస్తోంది: భద్రతా ప్రవర్తనే ఇప్పుడు పోటీకి ఒక కారకంగా మారింది. ఒక మోడల్ సున్నిత స్థితిలో ఉన్న టీనేజర్కు ఎలా స్పందిస్తుందో బ్రాండ్ విశ్వాసం, నియంత్రణ స్థితి, మరియు ప్లాట్ఫారమ్ స్వీకరణపై, వేగం లేదా తార్కిక నాణ్యత ఎంత ప్రభావం చూపుతాయో అంతే ప్రభావం చూపవచ్చు.
ఒక కాంట్రాక్టర్ ప్రాజెక్ట్ను మించి ఇది ఎందుకు ముఖ్యమో
చాట్బాట్లు సంక్షోభం-కేంద్రీకృత మరియు వయసు-సున్నిత పరస్పర చర్యలను బాధ్యతాయుతంగా నిర్వహించగలవని చూపించేందుకు ప్రధాన AI కంపెనీలు పెరుగుతున్న ఒత్తిడిని ఎదుర్కొంటున్న సమయంలో ఈ నివేదిక వచ్చింది. చాట్బాట్ భద్రతపై ప్రజా చర్చ ఇక హాల్యూసినేషన్లు లేదా కాపీరైట్కే పరిమితం కాదు. వ్యవస్థలు స్వయంహానిని ప్రోత్సహించకుండా ఉండగలవా, లైంగిక దోపిడీ పరిస్థితులను నిరోధించగలవా, మరియు వినియోగదారులను మరింత సురక్షిత ఫలితాల వైపు మళ్లించగలవా అనే అంశాలు కూడా ఇప్పుడు ఇందులో ఉన్నాయి.
ఆ నేపథ్యంలో, సిమ్యులేటెడ్ మైనర్ల చుట్టూ నిర్మించిన ప్రత్యర్థి-కేంద్రీకృత పరీక్షా ప్రాజెక్ట్ రెండు కారణాల వల్ల ప్రాముఖ్యత కలిగి ఉంది. మొదట, ఈ వైఫల్య మోడ్లు వ్యవస్థబద్ధంగా బెంచ్మార్క్ చేయడానికి సరిపడా ముఖ్యమైనవిగా ప్రముఖ టెక్ సంస్థలు భావిస్తున్నాయని ఇది సూచిస్తోంది. రెండవది, భద్రతను కొలవడానికి ఉపయోగించే పద్ధతులే వివాదాస్పదంగా మారవచ్చని చూపుతోంది. ఒక సంస్థ ఇతర వ్యవస్థలు ఎలా పనిచేస్తాయో తెలుసుకోవాలనుకోవచ్చు, కానీ ఆ సమాచారం సేకరణ ప్రక్రియ తన స్వంత పరిపాలన మరియు నైతిక ఆందోళనలను సృష్టించవచ్చు.
ఈ నివేదిక trust-and-safety పని మరియు పోటీ ఇంటెలిజెన్స్ మధ్య ఉన్న అసౌకర్యకరమైన పొరపాటును కూడా హైలైట్ చేస్తోంది. ఒక సంస్థ తమకు తెలియకుండా ప్రత్యర్థుల వ్యవస్థలపై పదుల వేల ప్రతికూల ప్రాంప్ట్లను నడిపితే, అది రిఫ్యూజల్ ప్రవర్తన, ఎస్కలేషన్ నమూనాలు, మరియు మోడరేషన్ సరిహద్దులపై వాస్తవ ప్రపంచ ఆధారాలను సేకరిస్తోంది. ఇది అంతర్గత పోలికకు ఉపయోగపడవచ్చు, కానీ AI కంపెనీల మధ్య భద్రతా పోటీ బయటి ప్రపంచానికి ఎంత అపారదర్శకంగా ఉందో కూడా ఇది చూపిస్తోంది.
AI పరిశ్రమకు విస్తృత సంకేతం
నివేదికలో వివరించిన సమాచారంనుంచి కొన్ని నిర్ధారణలు వస్తాయి.
- అధిక ప్రమాద ప్రాంప్ట్ పరీక్ష ఇప్పుడు పెద్ద కాంట్రాక్టర్ బృందాలు మరియు అధికారిక వర్క్ఫ్లోలను అవసరం చేసేంత విస్తృతమైంది.
- పిల్లలు మరియు టీనేజర్ల భద్రతా పరిస్థితులు వినియోగదారు AI మూల్యాంకనంలో ప్రధాన ఆందోళన ప్రాంతంగా మారాయి.
- భద్రతా పనితీరు ఇప్పుడు కేవలం అనుగుణత అవసరం కాకుండా, పోటీ బెంచ్మార్క్గా కూడా పరిగణించబడుతోంది.
- ప్రత్యర్థులను పరీక్షించడానికి ఉపయోగించే పద్ధతులు పరిశ్రమకు ప్రత్యేక విధాన సమస్యగా మారవచ్చు.
ఈ ఘటన విశేషమైనది కేవలం ప్రాంప్ట్ల పరిమాణం లేదా విషయ సున్నితత్వం వల్ల మాత్రమే కాదు. కంపెనీలు పరోక్షంగా ఒకదానినొకటి రక్షణలపై ఎంత దూకుడుగా అధ్యయనం చేస్తున్నాయో ఇది చూపించే దృశ్యం. AI వ్యవస్థలు రోజువారీ వినియోగంలో, ముఖ్యంగా యువత చేతుల్లో, మరింత లోతుగా ప్రవేశిస్తున్న కొద్దీ, ఆ రక్షణల నాణ్యత మరింత ముఖ్యమవుతుంది. అలాగే కంపెనీలు వాటిని ఎలా పరిశీలిస్తాయి, పోల్చుకుంటాయి, మరియు సవాలు చేస్తాయి అనే ప్రమాణాలు కూడా అంతే ముఖ్యమవుతాయి.
ఈ వ్యాసం Wired నివేదిక ఆధారంగా ఉంది. అసలు వ్యాసాన్ని చదవండి.
Originally published on wired.com
