ఓపెన్ మోడల్ హోస్టింగ్ పెరుగుతున్న డీప్ఫేక్ దుర్వినియోగ సమస్యతో ఢీకొంటోంది
హగ్గింగ్ ఫేస్ కృత్రిమ మేధలో అత్యంత ముఖ్యమైన పంపిణీ కేంద్రాలలో ఒకటిగా మారింది, ముఖ్యంగా ఓపెన్-సోర్స్ మరియు ఓపెన్-వెయిట్ మోడళ్లకు. కానీ The Verge సూచించిన ఒక కొత్త నివేదిక, ఈ ప్లాట్ఫారమ్ కూడా సమ్మతి లేని లైంగికీకృత డీప్ఫేక్లకు తక్కువ అడ్డంకితో ఉన్న ఛానల్గా పనిచేస్తోందని వాదిస్తోంది; ఇందులో మహిళలు, పిల్లలను లక్ష్యంగా చేసుకున్న కంటెంట్ కూడా ఉంది. ఈ కనుగొనుడు, మోడల్ రిపోజిటరీలను తటస్థ మౌలిక సదుపాయంగా చూడాలా లేదా అంచనా వేయగల దుర్వినియోగాన్ని పరిమితం చేయాల్సిన బాధ్యత ఉన్న క్రియాశీల గేట్కీపర్లుగా చూడాలా అనే పెద్ద చర్చపై ఒత్తిడిని పెంచుతోంది.
యూరోపియన్ లాభరహిత సంస్థ AI Forensics నివేదిక ప్రకారం, హగ్గింగ్ ఫేస్లో పరీక్షించిన టాప్ తొమ్మిది ఇమేజ్-ఎడిటింగ్ మోడళ్లలో ఏడూ, మహిళలను “దుస్తులు తీసేయించు” అనే ఉద్దేశంతో ఉన్న ప్రాంప్ట్లకు సులభంగా లోబడ్డాయి. ఆ బృందం మోడళ్లపై కేవలం నేరుగా, సూటిగా అడిగే అభ్యర్థనలనే ఉపయోగించామని, క్లిష్టమైన జైల్బ్రేకింగ్ పద్ధతులు కాకుండా, అయినప్పటికీ వ్యవస్థలు తరచూ కోరిన ఫలితాన్ని ఇచ్చాయని తెలిపింది. ఇది ముఖ్యమైనది, ఎందుకంటే సమస్య కేవలం అత్యంత నైపుణ్యం ఉన్న దాడికర్తలకే పరిమితం కాదని సూచిస్తోంది. సులభమైన ప్రాంప్ట్ పనిచేస్తే, దుర్వినియోగానికి అడ్డంకి సాధారణ దుర్వినియోగానికే సరిపడా తక్కువగా ఉంటుంది.
ఈ ప్రవర్తనను, పెద్ద కంపెనీల ప్రధాన వినియోగదారు ఏఐ వ్యవస్థల్లో కనిపించే బలమైన భద్రతా పరిరక్షణలతో The Verge పోల్చింది. Google Gemini, OpenAI ChatGPT వంటి ప్రధాన జనరేటివ్ ఏఐ ఉత్పత్తులు సాధారణంగా నిజమైన వ్యక్తులను దుస్తులు లేకుండా చూపించమనే లేదా లైంగికీకరించమనే ప్రాంప్ట్లను అడ్డుకుంటాయి. దీనితో పోలిస్తే, పరీక్షించిన హగ్గింగ్ ఫేస్ మోడళ్లలో ఈ విషయంలో ప్లాట్ఫారమ్-స్థాయి రక్షణలు బలహీనంగా లేదా లేనట్టుగా కనిపించాయి.
AI Forensics పరీక్ష ఏమి కనుగొంది
లాభరహిత సంస్థ ఫలితాలు రెండు సంబంధిత ఆందోళనలను చూపిస్తున్నాయి: మోడల్ ప్రవర్తన మరియు వినియోగదారు డిమాండ్. మోడల్ వైపు, పరీక్షించిన ఇమేజ్-ఎడిటింగ్ వ్యవస్థలు ఫోటోల నుండి దుస్తులను తొలగించమనే నేరుగా ఇచ్చిన సూచనలను పాటించడానికి సిద్ధంగా ఉన్నట్లు తెలిపింది. డిమాండ్ వైపు, AI Forensics హగ్గింగ్ ఫేస్లో “హనీపాట్” ఇమేజ్-ఎడిటింగ్ Spacesను ఏర్పాటు చేసి, వినియోగదారులు ఎలాంటి ప్రాంప్ట్లు పంపుతారో గమనించింది; అయితే ఆ Spaces ఆ అభ్యర్థనలను నెరవేర్చేలా రూపొందించబడలేదు.
ఏడు రోజుల వ్యవధిలో, ఆ హనీపాట్లకు 1,000 కంటే ఎక్కువ ప్రాంప్ట్లు మరియు చిత్రాలు వచ్చాయని సంస్థ తెలిపింది. వాటిలో 73 శాతం లైంగిక స్వభావం గలవి. లైంగిక అభ్యర్థనల్లో 83 శాతం చిత్రంలో ఉన్న వ్యక్తిని దుస్తులు లేకుండా చేయాలని ప్రయత్నించాయి, మరియు వాటిలో 95 శాతం లక్ష్యాలు మహిళలే. The Verge ద్వారా అందిన నివేదిక ప్రకారం, లైంగిక అభ్యర్థనల్లో దాదాపు 7 శాతం పిల్లలను లక్ష్యంగా చేశాయి.
ఈ సంఖ్యలు మొత్తం ప్లాట్ఫారమ్లో దుర్వినియోగం ఎంత ఉందో నిరూపించవు. అయితే ఇలాంటి సామర్థ్యాలు ఉన్న టూల్స్ సులభంగా అందుబాటులో ఉన్నప్పుడు వినియోగదారు ఉద్దేశం ఏ దిశగా కేంద్రీకృతమవుతుందో ఇవి చూపుతున్నాయి. ఈ నమూనా ముఖ్యమైనది, ఎందుకంటే దుర్వినియోగం అంచు సమస్య కాదని సూచిస్తోంది. హనీపాట్ Spacesకు వచ్చిన అభ్యర్థనలు ఒకే హానికర వినియోగ-కేస్ చుట్టూ కేంద్రీకృతమయ్యాయి: సాధారణ ఫోటోలను సమ్మతి లేకుండా లైంగికీకృత డీప్ఫేక్లుగా మార్చడం.
ఇది మోడల్ సమస్య మాత్రమే కాదు, ప్లాట్ఫారమ్ సమస్య కూడా
నివేదికలో అత్యంత కీలకమైన ఆరోపణ, కొన్ని ఓపెన్ మోడళ్లను దుర్వినియోగం చేయవచ్చా అనే ప్రశ్న కాదు. ఇది చాలా కాలంగా తెలిసిన విషయమే. మరింత పదునైన విమర్శ ఏమిటంటే, “ప్లాట్ఫారమ్ స్థాయిలో అసలు ఎటువంటి రక్షణలు అమలు చేయబడటం లేదు,” అని The Verge పేర్కొంది. ఆచరణలో, ఇది దృష్టిని వ్యక్తిగత మోడల్ డెవలపర్ల నుండి, వినియోగదారులు మోడళ్లను కనుగొనడానికి, నడపడానికి, పంచుకోవడానికి సహాయపడే హోస్టింగ్ లేయర్పైకి మళ్లిస్తుంది.
హగ్గింగ్ ఫేస్ ఏఐ ఎకోసిస్టమ్లో ప్రత్యేక స్థానం కలిగి ఉంది, ఎందుకంటే అది రిపోజిటరీ కూడా, ఎగ్జిక్యూషన్ ఎన్విరాన్మెంట్ కూడా. మోడళ్లను అప్లోడ్ చేయవచ్చు, బెంచ్మార్క్ చేయవచ్చు, మరియు అనేక సందర్భాల్లో Spaces అని పిలువబడే బ్రౌజర్-ఆధారిత డెమోల ద్వారా నేరుగా ప్రయత్నించవచ్చు. ఈ కలయిక న్యాయబద్ధమైన పరిశోధన, అభివృద్ధికి అడ్డంకిని తగ్గిస్తుంది, కానీ మోడరేషన్, యాక్సెస్ నియంత్రణలు సరిపోకపోతే దుర్వినియోగానికీ అడ్డంకిని తగ్గిస్తుంది.
కాబట్టి ఈ నివేదిక ఒకే కంపెనీని దాటి ప్రతిధ్వనించే విధాన ప్రశ్నను లేవనెత్తుతోంది: దుర్వినియోగ నమూనా స్పష్టంగా, పునరావృతమయ్యేలా, సామాజికంగా హానికరంగా ఉన్నప్పుడు మౌలిక సదుపాయాల ప్రదాతలపై ఎలాంటి బాధ్యతలు ఉంటాయి? లైంగిక డీప్ఫేక్ల విషయంలో ఇది ప్రత్యేకంగా తీవ్రమైనది, ఎందుకంటే నష్టం వెంటనే వస్తుంది మరియు తిరిగి సరిదిద్దడం కష్టం. అలాంటి పదార్థం ఒకసారి సృష్టించబడితే, వ్యాప్తి చెందితే, అది ప్రతిష్ఠను దెబ్బతీయగలదు, బాధితులను వేధింపులకు గురిచేయగలదు, మరియు మైనర్లు ఉన్న సందర్భాల్లో తీవ్రమైన చట్ట, నైతిక పరిణామాలను తెస్తుంది.
ఈ కనుగొనుగులు ఓపెన్-మోడల్ చర్చ ఎలా మారుతోందో కూడా చూపిస్తున్నాయి. ముందుగా, శక్తివంతమైన మోడళ్లను విడుదల చేయడం ఆవిష్కరణను వేగవంతం చేస్తుందా లేదా ప్రమాదాన్ని పెంచుతుందా అనే దానిపై చర్చ కేంద్రీకృతమైంది. ఇప్పుడు, ఆందోళన మరింత ఆపరేషనల్గా ఉంది: ఓపెనెస్ విలువైనదైనా, ఫిల్టర్లు, టేక్డౌన్లు, వినియోగ పరిమితులు, దుర్వినియోగ గుర్తింపు ఎక్కడ ఉండాలి? మోడల్ వెయిట్లు విస్తృతంగా అందుబాటులో ఉంటే, ప్లాట్ఫారమ్ ఇంటర్ఫేస్ భద్రతా అంచనాలు అమలు అయ్యే ప్రధాన స్థలంగా మారవచ్చు.
ఇది ఇప్పుడెందుకు ముఖ్యమైనది
సమయమూ ప్రాధాన్యమే, ఎందుకంటే అనేక పరిధుల్లో నియంత్రకులు మరియు శాసనసభ్యులు ఆబ్స్ట్రాక్ట్ ఏఐ-భద్రతా చర్చల నుండి నిర్దిష్ట హానుల వైపు, ఉదాహరణకు ప్రతిరూపణ, మోసం, మరియు ఇంటిమేట్-ఇమేజ్ దుర్వినియోగం వైపు, కదులుతున్నారు. The Verge ఈ సమస్యను డీప్ఫేక్లపై పెరుగుతున్న కట్టడి, మరియు పిల్లలతో సంబంధం ఉన్న లైంగికీకృత పదార్థాన్ని ఉత్పత్తి చేసే ఇమేజ్ వ్యవస్థలపై ఇటీవల వచ్చిన దృష్టితో అనుసంధానించింది. ఆ సందర్భంలో, ఇమేజ్-ఎడిటింగ్ టూల్స్ను హోస్ట్ చేసే రిపోజిటరీలు విధాన దృష్టి నుండి తప్పించుకోలేవు.
ఏఐ పరిశ్రమకు ఈ ఘటన, నమ్మకం మోడల్ సామర్థ్యంతో సమానంగా డిఫాల్ట్లపై కూడా ఆధారపడి ఉంటుందని మరోసారి గుర్తు చేస్తుంది. ఒక వ్యవస్థకు ఫ్రంట్ియర్-స్థాయి తెలివి అవసరం లేదు, అది సులభంగా అందుబాటులో ఉండి, వాస్తవిక ఇమేజ్ మానిప్యులేషన్కు ట్యూన్ చేయబడి ఉంటే తీవ్రమైన నష్టం కలిగించగలదు. ఆ కోణంలో, AI Forensics వివరించిన దుర్వినియోగ మార్గం భవిష్యత్తు ఊహాజనిత ప్రమాదం కంటే ప్రస్తుత ఉత్పత్తి డిజైన్ నిర్ణయాలకు ఎక్కువగా సంబంధించినది.
ఓపెన్-సోర్స్ సమాజానికి కూడా ప్రతిష్ఠాపరమైన కోణం ఉంది. అనేక మంది మద్దతుదారులు, సరైన కారణాలతో, ఓపెన్ యాక్సెస్ పారదర్శకత, స్వతంత్ర ఆడిటింగ్, మరియు ఏఐ అభివృద్ధిలో విస్తృత భాగస్వామ్యాన్ని ప్రోత్సహిస్తుందని వాదిస్తారు. కానీ అత్యంత కనిపించే దుర్వినియోగ ఉదాహరణలు కట్టుదిట్టంగా నియంత్రిత వాణిజ్య వ్యవస్థల కంటే ఓపెన్ ప్లాట్ఫారమ్లపై మరింత సులభంగా అమలవుతాయని కనిపిస్తే ఆ వాదనలు బలహీనపడతాయి. ఓపెన్ ఏఐ పాలన నమ్మకత, ఓపెనెస్ మరియు అమలు చేయగల రక్షణలు కలిసి ఉండగలవని నిరూపించడంపై మరింత ఆధారపడవచ్చు.
తదుపరి ఏమి చూడాలి
- నివేదికకు ప్రతిస్పందనగా Hugging Face మోడల్ హోస్టింగ్ లేదా Space-స్థాయి మోడరేషన్లో మార్పులు చేస్తుందా.
- లాభరహిత సంస్థలు, జర్నలిస్టులు, లేదా నియంత్రకులు అదే సరళమైన ప్రాంప్ట్ పద్ధతులను ఉపయోగించి ఫలితాలను పునరావృతం చేస్తారా.
- ప్లాట్ఫారమ్లు మోడల్ ఫైళ్లను హోస్ట్ చేయడం, మరియు ప్రమాదకరమైన ఇమేజ్-ఎడిటింగ్ టూల్స్కు బ్రౌజర్-ఆధారిత వినియోగదారు యాక్సెస్ ఇవ్వడం మధ్య తేడా చూపడం ప్రారంభిస్తాయా.
- లైంగిక డీప్ఫేక్ జనరేషన్ను వినియోగదారు దుర్వినియోగ సమస్యగా మాత్రమే కాకుండా ప్లాట్ఫారమ్-పాలన సమస్యగా విధాననిర్మాతలు చూస్తారా.
తక్షణ निष्कర్ష సూటిగా ఉంది. The Verge వివరించిన నివేదిక ప్రకారం, వెబ్లో కనిపించే అత్యంత ప్రముఖ ఓపెన్ ఏఐ మౌలిక సదుపాయాలలో కొన్ని, చాలా తక్కువ శ్రమతో సమ్మతి లేని లైంగికీకృత డీప్ఫేక్లను సృష్టించడానికి ఉపయోగించబడవచ్చు. ఈ కనుగొనుగులు విస్తృత పరిశీలనలోనూ నిలబడితే, రిపోజిటరీలు కేవలం నిష్క్రియ హోస్ట్లు అనే వాదనను నిలబెట్టుకోవడం కష్టమవుతుంది.
ఈ వ్యాసం The Verge నివేదిక ఆధారంగా ఉంది. మూల వ్యాసాన్ని చదవండి.
Originally published on theverge.com
