థిబాల్ట్ ష్రెపెల్ ఆమ్స్టర్డామ్లోని వ్రిజే యూనివర్సిటీట్లో తన "Law of AI" కోర్సును రూపొందించినప్పుడు, ఒక సాధారణ ఊహను తరగతి గదిలోకి తీసుకువెళ్లారు: ఎటువంటి సూచనలు లేకుండా విద్యార్థులకు AI చాట్బాట్ను అందించడం వల్ల మంచి కంటే ఎక్కువ హాని జరుగుతుంది. రెండేళ్ల నియంత్రిత పరీక్షలు ఆయనను వ్యతిరేక ముగింపు వైపు నెట్టాయి. ఆయన మాటల్లోనే, "నేను తప్పు చేశాను."
ఆయన నిర్వహించిన ప్రయోగం దాని శీర్షిక కంటే దాని నిర్మాణం కోసం ఎక్కువగా గమనించదగ్గది. AI పట్ల విద్యార్థుల వైఖరులపై సర్వే చేయడం బదులు, ష్రెపెల్ వారిని వివిధ నియమాలతో గ్రూపులుగా విభజించి, వారు వాస్తవంగా ఏమి ఉత్పత్తి చేశారో కొలిచారు. అదే ఏర్పాటు రెండుసార్లు నడిచింది — మొదట 2024లో 66 విద్యార్థులతో, తర్వాత 2025లో 164 మంది పాల్గొనేవారితో — ఇది AI సహాయపడిందా అనేది మాత్రమే కాకుండా, దానిని పరిచయం చేసిన విధానం కాలక్రమేణా ముఖ్యమైందా అనేది కూడా గమనించడానికి ఆయనకు అవకాశం ఇచ్చింది.
మూడు గ్రూపుల ప్రయోగం ఎలా జరిగింది
ప్రతి పాల్గొనేవారు ఒకే ప్రధాన పనిని ఎదుర్కొన్నారు: నాలుగు లేదా ఐదు మంది చిన్న జట్లుగా పనిచేస్తూ, EU AI Actలోని ఒక నిబంధనను మెరుగుపరచడానికి వారికి 20 నిమిషాలు ఉండేవి. సమర్పణలు సారాంశం, స్పష్టత, అనుపాతత మరియు ఆవిష్కరణ ప్రాతిపదికన గ్రేడ్ చేయబడ్డాయి — ఇవి ఉపరితల స్థాయి మెరుగుదల కంటే నిజమైన చట్టపరమైన వాదనను ప్రోత్సహించే ప్రమాణాలు. అందరు విద్యార్థులు ఒకే మూల్యాంకనాలకు కూడా హాజరయ్యారు: బహుళైచ్ఛిక పరీక్ష మరియు నియంత్రణలోని మరొక నిబంధనను సవరించమని అడిగే ఇంటికి తీసుకెళ్లే పరీక్ష.
ఏకైక చరరాశి వారికి ఎలా పనిచేయడానికి అనుమతి ఇవ్వబడింది అనేది:
- AI లేదు: ఈ గ్రూపు ChatGPTని పూర్తిగా ఉపయోగించకుండా నిషేధించబడింది మరియు చర్చ మరియు దాని స్వంత చట్టపరమైన జ్ఞానంపై ఆధారపడవలసి వచ్చింది.
- మార్గదర్శకం లేని AI: ఈ జట్లు ChatGPT ద్వారా రూపొందించిన సవరణ సూచనలను నేరుగా వచనంలో పొందాయి. వారు ఆ సాధనాన్ని ఉపయోగించడం కొనసాగించగలరు, కానీ దానిని ఎలా ప్రాంప్ట్ చేయాలి లేదా అది తిరిగి ఇచ్చిన దానిని ఎలా మూల్యాంకనం చేయాలి అనేది ఎవరూ వివరించలేదు.
- శిక్షణ పొందిన AI: ఈ గ్రూపు చట్టపరమైన ప్రాంప్ట్ ఇంజినీరింగ్లో ప్రత్యక్ష శిక్షణను, అలాగే AI అవుట్పుట్ను స్థిరత్వం మరియు ఖచ్చితత్వం కోసం తనిఖీ చేయడంలో స్పష్టమైన శిక్షణను పొందింది.
AI లేని గ్రూపు "ఆలోచనల అలసట" అనే గోడను ఢీకొట్టింది
AI లేకుండా పనిచేసిన విద్యార్థులు అధ్యయనం యొక్క రెండేళ్లలోనూ చివరి స్థానంలో నిలిచారు. వారి సవరణలు ఉపరితల స్థాయికి మొగ్గు చూపాయి: స్పష్టత కోసం వాక్యాలను తిరిగి రాయడం, పునరావృత్తిని తగ్గించడం, పదాలను కుదించడం. కొద్దిమంది ఉపసమూహాలు మాత్రమే నిబంధనకు సారవంతమైన చట్టపరమైన మెరుగుదలలను ప్రయత్నించాయి. మరింత ఆశ్చర్యకరమైనది సమయం. సుమారు పది నుండి పదిహేను నిమిషాల తర్వాత, అనేక జట్లు ప్రయత్నించడానికి విషయాలు అయిపోయాయి — ష్రెపెల్ దీనిని "ఆలోచనల అలసట" అని పిలుస్తారు.
ఆ నిషేధం పరిశోధకుడు అంగీకరించే ఒక ప్రయోజనాన్ని ఇచ్చింది. ఆధారపడడానికి చాట్బాట్ లేకపోవడంతో, విద్యార్థులు ఒకరితో ఒకరు ఎక్కువగా వాదించుకున్నారు, నిజమైన చర్చ ద్వారా వచనాన్ని చర్చించారు. అయితే, రాజీ ఏమిటంటే, సమయ పరిమితిలో ఆ చర్చ ఎంత దూరం వెళ్లగలదనే దానిపై ఒక పైకప్పు ఏర్పడింది.
మార్గదర్శకం లేని AI వినియోగం: సులభమైన అవుట్పుట్, తక్కువ పరిశీలన
AI లేని గ్రూపు చాలా తక్కువ ఆలోచనలతో బాధపడింది అయితే, మార్గదర్శకం లేని గ్రూపు చాలా తక్కువ సందేహంతో బాధపడింది. మధ్యస్థ స్థితిలోని విద్యార్థులు ChatGPT ప్రతిపాదించిన దానిని ఎక్కువగా అంగీకరించారు, తరచుగా AI వెర్షన్ కేవలం "మెరుగ్గా అనిపించింది" అనే కారణంతో మార్పును సమర్థించారు. కొన్ని సందర్భాల్లో, పాల్గొనేవారు "shall" మరియు "individual" వంటి పదాలను AI సూచించిన ప్రత్యామ్నాయాలతో భర్తీ చేశారు, అలా చేయడం వల్ల కలిగే చట్టపరమైన పరిణామాలపై ఎటువంటి అవగాహన చూపకుండా — శాసన ముసాయిదాలో ఈ ప్రత్యామ్నాయం నిజమైన ప్రాముఖ్యతను కలిగి ఉంటుంది.
ఈ స్థితిలోని ప్రతి ఒక్క ఉపసమూహం కూడా ChatGPT అవుట్పుట్ నుండి కనీసం ఒక తప్పుదారి పట్టించే లేదా చట్టపరంగా అనవసరమైన పదాన్ని నిలుపుకుంది. సమస్య ఆ సాధనం పనికిరాని వచనాన్ని ఉత్పత్తి చేయడం కాదు; సమస్య ఏమిటంటే, ఆ వచనం ప్రశ్నించడాన్ని నిరుత్సాహపరిచేంత పాలిష్గా వచ్చింది.
నిర్మిత శిక్షణ సాధనంతో నిజమైన సంభాషణను ఉత్పత్తి చేసింది
మూడవ గ్రూపు భిన్నంగా ప్రవర్తించింది. ఈ విద్యార్థులు మోడల్ను ఎదిరించారు, ప్రత్యామ్నాయ పదబంధాలను పరీక్షించారు మరియు మొదటి ఆమోదయోగ్యమైన ముసాయిదాను అంగీకరించడం బదులు అసైన్మెంట్ కింద ఉన్న సారవంతమైన చట్టపరమైన ప్రశ్నలను ప్రశ్నించారు. వారి స్కోర్లు దానిని ప్రతిబింబించాయి: 2024లో, శిక్షణ పొందిన గ్రూపు మిగిలిన రెండింటిని పెద్ద మార్జిన్తో అధిగమించింది, ఈ ప్రయోజనం మరింత కఠినమైన ఇంటికి తీసుకెళ్లే పరీక్షలో అత్యంత స్పష్టంగా కనిపించింది.
రెండవ సంవత్సరంలో శిక్షణ ప్రయోజనం దాదాపు అదృశ్యమైంది
తర్వాత నమూనా మారింది. 2025లో ప్రయోగం పునరావృతమైనప్పుడు, అంతరం దాదాపు మూసుకుపోయింది. మూడు గ్రూపులూ సుమారు ఒకే స్థాయి పనితీరుకు చేరుకున్నాయి, AIకి ఎటువంటి ప్రాప్యత లేని విద్యార్థులతో సహా.
ష్రెపెల్ వివరణ సూటిగా ఉంది: పరిచయం. చాట్బాట్లు రోజువారీ జీవితంలో సాధారణ భాగమవడంతో, విద్యార్థులు వాటితో ఎలా పనిచేయాలో ఇప్పటికే తెలిసినవారుగా తరగతి గదికి వచ్చారు. అధికారిక శిక్షణకు ఇప్పటికీ విలువ ఉంది, కానీ ఆ సాధనం సాధారణ విద్యాపరమైన పనిలో తక్కువగా చేర్చబడిన ఒక సంవత్సరం క్రితం ఉన్నంత ప్రయోజనాన్ని అది ఇకపై ఇవ్వలేదు.
ఆ ఆవిష్కరణ ఏదైనా సరళమైన విధాన పఠనాన్ని క్లిష్టతరం చేస్తుంది. ఇది శిక్షణ ప్రయోజనం పాక్షికంగా ప్రాథమిక నైపుణ్యం యొక్క ప్రమేయం అని సూచిస్తుంది — ఒక సాధనం కొత్తదైనప్పుడు విలువైనది, అది పరిసరంగా మారిన తర్వాత తక్కువ భేదాత్మకం.
ఫలితాల నుండి విద్యావేత్తలు ఏమి తీసుకోవాలి
రెండేళ్ల కాలం నుండి అనేక ఆచరణాత్మక పరిశీలనలు ఉద్భవిస్తాయి:
- సమయ పరిమితి ఉన్న వ్యాయామం నుండి AIని తొలగించడం విద్యార్థుల పని నాణ్యతను పెంచలేదు; ఈ కోర్సులో, అది దానిని తగ్గించింది.
- సూచనలు లేకుండా AIని అనుమతించడం విద్యార్థులను వారికి పట్టుకోడానికి నైపుణ్యం లేని నమ్మకంగా అనిపించే తప్పులకు గురిచేసింది.
- AI అవుట్పుట్ను ప్రశ్నించడం — స్థిరత్వాన్ని తనిఖీ చేయడం, ఖచ్చితత్వాన్ని ధృవీకరించడం, ఉద్దేశపూర్వకంగా ప్రాంప్ట్ చేయడం — నేర్పడం కొలవగల మెరుగైన ఫలితాలను ఇచ్చింది, కనీసం ఆ నైపుణ్యం అరుదుగా ఉన్నప్పుడు.
- విద్యార్థులు ఈ సాధనాలతో రోజువారీ అనుభవాన్ని పొందుతున్నందున AI అక్షరాస్యత చుట్టూ ఉన్న జ్ఞాన అంతరం దానంతట అదే సన్నగిల్లుతోంది.
విస్తృత పాఠం ఏమిటంటే, అర్థవంతమైన భేదం AI వర్సెస్ AI లేదు కాకపోవచ్చు, కానీ మార్గదర్శిత వర్సెస్ మార్గదర్శకం లేని వినియోగం. శిక్షణ పొందిన గ్రూపు ప్రయోజనం చాట్బాట్ను పాటించవలసిన దానిగా కాకుండా సవాలు చేయవలసిన దానిగా పరిగణించడం నుండి వచ్చింది, మరియు ఆ అలవాటు, సాధనం కాదు, ఫలితాల్లో మెరుగుదలను నడిపించినట్లు కనిపిస్తుంది.
అధ్యయనం యొక్క పరిధిని దృష్టిలో ఉంచుకోవడం విలువైనది. ఈ ఫలితాలు ఒకే కోర్సు, ఒకే బోధకుడు మరియు ఒక విభాగం నుండి వచ్చాయి, సాపేక్షంగా నిరాడంబరమైన సమూహ పరిమాణాలతో. చట్టపరమైన ముసాయిదా అనేది ఖచ్చితత్వం ఇతర విషయాలపై స్పష్టంగా అన్వయించని విధంగా ముఖ్యమైన ఒక రంగం కూడా.
అయినప్పటికీ, రెండేళ్ల ఆర్క్ ఫలితాలకు అసాధారణమైన బరువును ఇస్తుంది. మార్గదర్శకం లేని AI వెనక్కి తిరుగుతుందని ఆశించి ష్రెపెల్ బయలుదేరారు, మరియు డేటా ఆ ఆశతో సహకరించడానికి నిరాకరించింది. ఆయన ముగింపు పూర్తి నిషేధాలను తూకం వేస్తున్న సంస్థలకు ఉపయోగకరమైన దిద్దుబాటు: నిషేధం ఆలోచనల మూలాన్ని తొలగించింది కానీ తీర్పు అవసరాన్ని తొలగించలేదు, అయితే సాధనాన్ని బాధ్యతాయుతంగా ఎలా ఉపయోగించాలో శిక్షణ అతిపెద్ద కొలవగల లాభాన్ని అందించింది.
ఈ వ్యాసం The Decoder యొక్క రిపోర్టింగ్ ఆధారంగా రూపొందించబడింది. అసలు వ్యాసాన్ని చదవండి.
Originally published on the-decoder.com
