పెద్ద గ్రేడ్ డేటాసెట్ AI-ఆధారిత పెరుగుదల సూపర్విజన్ లేని కోర్సు పనిలోనే ఎక్కువగా ఉందని సూచిస్తోంది
UC Berkeley నుంచి వచ్చిన కొత్త అధ్యయనం ఉన్నత విద్యలో పెరుగుతున్న ఆందోళనకు గణాంక ఆధారాన్ని జోడిస్తోంది: జనరేటివ్ AI నేర్చుకోవడాన్ని మెరుగుపరచకుండా గ్రేడ్లు బాగున్నట్టు కనిపించేలా చేయవచ్చు. టెక్సాస్లోని ఒక పెద్ద, ఎంపికాధారిత పబ్లిక్ రీసెర్చ్ యూనివర్శిటీకి చెందిన 5 లక్షలకుపైగా గ్రేడ్లను ఆధారంగా తీసుకున్న ఈ అధ్యయనం, 2022 నవంబరులో ChatGPT ప్రారంభమైన తర్వాత, AI బాగా నిర్వహించగల పనులు ఉన్న కోర్సుల్లో, ముఖ్యంగా రచన మరియు కోడింగ్లో, గ్రేడ్లు గణనీయంగా పెరిగినట్టు గుర్తించింది.
ఈ పెరుగుదల అన్ని కోర్సు రకాలకూ సమానంగా పాకలేదు. The Decoderలో వివరించిన అధ్యయనం ప్రకారం, తుది గ్రేడ్లో హోంవర్క్కి అధిక బరువు ఉన్న క్లాసుల్లో ఈ ప్రభావం ఎక్కువగా కనిపించింది. ఆ తేడా ముఖ్యం. AI టూల్స్ నిజంగా విద్యార్థులు ఎక్కువగా నేర్చుకోవడానికి సహాయపడితే, పరిశోధకులు ప్రాక్టర్డ్ పరీక్షలు సహా అన్ని అంచనా విధానాల్లోనూ లాభాలు కనిపిస్తాయని ఆశించేవారు. కానీ అతిపెద్ద జంప్ సూపర్విజన్ లేని పనిలో కనిపించింది, ఇది AI విద్యార్థి శ్రమకు ప్రత్యామ్నాయంగా పనిచేస్తోందని సూచిస్తుంది.
మార్పు పరిమాణం
ఈ అధ్యయనం 2018 నుంచి 2025 వరకు ఎనిమిది శరదృతు సెమిస్టర్లను ట్రాక్ చేసి, 84 విభాగాల్లోని 319 కోర్సులను కవర్ చేసింది. ప్రతి కోర్సు జనరేటివ్ AIకి ఎంత మేరకు గురయ్యిందో అంచనా వేయడానికి, పరిశోధకుడు ChatGPT ఉండకముందు రూపొందించిన 2022 శరదృతు సిలబస్లను ఉపయోగించి, రచన మరియు కోడింగ్పై కేంద్రీకృతమైన అసైన్మెంట్ల వాటాను కొలిచారు. విస్తృతంగా అందుబాటులోకి వచ్చిన AI టూల్స్ వచ్చిన తర్వాత ఎక్కువగా ప్రభావితమయ్యే పనులు అవే.
ChatGPT తర్వాత మార్పు గణనీయంగా ఉంది. రచన మరియు కోడింగ్ అసైన్మెంట్లు ఎక్కువ వాటా కలిగి ఉన్న కోర్సుల్లో, A గ్రేడ్ల వాటా 13 శాతం పాయింట్లు పెరిగింది, ఇది 2022 బేస్లైన్ కంటే సుమారు 30 శాతం ఎక్కువ. సగటు GPA 0.12 పాయింట్లు పెరిగింది. అదే సమయంలో, గ్రేడ్ పంపిణీ సన్నగిల్లింది, ముందు A- లేదా B+ వంటి గ్రేడ్లు పొందే అవకాశం ఉన్న విద్యార్థులు ఇప్పుడు నేరుగా Aలు పొందడం ప్రారంభించారు.
ఇది గమనించదగ్గ నమూనా, ఎందుకంటే ఇది కేవలం కాగితంపై సగటు పనితీరు పెరిగిందనే కాదు, విద్యార్థుల మధ్య తేడా కూడా తగ్గిందని సూచిస్తోంది. ప్రాక్టికల్గా, గ్రేడ్లు ఎక్కువగా విషయాన్ని బలంగా నేర్చుకున్నవారిని, కేవలం పనిని సంతృప్తికరంగా పూర్తి చేసినవారిని తేడాగా చూపించే సంకేతాలుగా ఉండకపోవచ్చు.
మార్పును నడిపేది హోంవర్క్, పరీక్షలు కాదు
ఈ అధ్యయనంలో అత్యంత ముఖ్యమైన సహకారం, నేర్చుకోవడంలో వచ్చిన లాభాలను ఔట్సోర్స్డ్ పనితో వేరు చేయడానికి చేసిన ప్రయత్నమే కావొచ్చు. తుది కోర్సు గ్రేడ్లలో హోంవర్క్ ఎంత మేరకు దోహదపడిందో పరిశోధకుడు పరిశీలించారు. AI విద్యార్థులకు విషయాన్ని బాగా అర్థం చేసుకోవడంలో సహాయపడితే, హోంవర్క్పై ఆధారపడే క్లాసులలోనూ, ప్రత్యక్ష పరీక్షలపై ఆధారపడే క్లాసులలోనూ మెరుగుదల కనిపించాలి. దానికి విరుద్ధంగా, విద్యార్థులు AIని ఉపయోగించి అసైన్మెంట్లను నేరుగా పూర్తి చేస్తే, సూపర్విజన్ లేని పని ఎక్కువ బరువు ఉన్న చోటే బలమైన ప్రభావం కనిపించాలి.
డేటా రెండో పరిస్థితికే అనుకూలంగా ఉంది. తుది గ్రేడ్లో హోంవర్క్ మధ్యస్థ వాటాకంటే ఎక్కువ ఉన్న కోర్సుల్లో, A గ్రేడ్ల పెరుగుదల, అదే స్థాయి AI ఎక్స్పోజర్ ఉన్న తక్కువ హోంవర్క్ కోర్సులతో పోలిస్తే అదనంగా 16 శాతం పాయింట్లు ఎక్కువగా ఉంది. హోంవర్క్ తక్కువ ప్రాధాన్యం ఉన్న కోర్సుల్లో ప్రభావం చిన్నదిగా ఉండి, గణాంకపరంగా ప్రాముఖ్యత లేదు.
ఈ నమూనాను విద్యార్థుల అభ్యాసంలో సమగ్ర పెరుగుదలగా మాత్రమే వివరించడం కష్టం. ఇది బదులుగా అనేక కోర్సులు రూపకల్పనలో ఉన్న ఒక నిర్మాణాత్మక బలహీనతను సూచిస్తోంది: హోంవర్క్గా ఇచ్చే రచన లేదా కోడింగ్ పనులపై గ్రేడ్లు బాగా ఆధారపడితే, AI వ్యవస్థలు ఇప్పుడు ఆ పనిలో తగినంత భాగం చేసి గ్రేడింగ్ పంపిణీని మార్చగలవు.
ప్లాసీబో పరీక్ష వాదనను బలపరుస్తుంది
ఈ అధ్యయనంలో ఒక ఉపయోగకరమైన పోలిక కూడా ఉంది. ప్రస్తుత AI టూల్స్ అంతగా సహాయపడని మౌఖిక ప్రజెంటేషన్ అసైన్మెంట్లలో అదే గ్రేడ్ పెరుగుదల ప్రభావం కనిపించలేదు. ఈ ప్లాసీబో పరీక్ష కారణాన్ని ఒంటరిగా నిరూపించదు, కానీ అసైన్మెంట్ ఫార్మాట్ ముఖ్యం అనే అర్థాన్నీ, కనిపించిన మార్పులు జనరేటివ్ AI పూర్తి చేయగలిగే లేదా గణనీయంగా సహాయపడగల పనులతో దగ్గరగా సంబంధించి ఉన్నాయనే వ్యాఖ్యానాన్నీ బలపరుస్తుంది.
అంటే, ఇది 2022 తర్వాత క్యాంపస్ అంతటా సులభమైన గ్రేడింగ్ వైపు సాధారణ సొరుగు మాత్రమే కాదు. ఈ పెరుగుదల ChatGPT-లాంటి వ్యవస్థలు అత్యంత సామర్థ్యవంతంగా ఉన్న నిర్దిష్ట రంగాలకు అనుగుణంగా ఉంది.
ఇది ఒక్క విశ్వవిద్యాలయానికే ఎందుకు పరిమితం కాదు
విశ్వవిద్యాలయాలు దశాబ్దాలుగా గ్రేడ్ పెరుగుదలతో పోరాడుతున్నాయి. ఈ క్షణాన్ని ప్రత్యేకం చేసేది, జనరేటివ్ AI ఆ ప్రక్రియను వేగవంతం చేసి, మూల్యాంకనపు ప్రాథమిక పనుల్లో ఒకదాన్ని దెబ్బతీయగలగడం. గ్రేడ్లు పనితీరు, జ్ఞానం, సాపేక్ష నైపుణ్యం గురించి ఏదో ఒకటి తెలియజేయాలి. AI అనేక విద్యార్థులకు తగిన అర్థం లేకుండా మెరుగైన హోంవర్క్ తయారు చేయడానికి అవకాశం ఇస్తే, ఆ సంకేతాలు బలహీనపడతాయి.
దీని ప్రభావం ట్రాన్స్క్రిప్టులకే పరిమితం కాదు. ఉద్యోగదాతలు, గ్రాడ్యుయేట్ స్కూళ్లు, స్కాలర్షిప్ కమిటీలు, తదుపరి కోర్సులలోని ఉపాధ్యాయులు కూడా విద్యార్థులు చేయగలిగింది ఎంత అనే粗 అంచనాకు గ్రేడ్లపై ఆధారపడతారు. ఒక A increasingly AI-సహాయంతో తయారైన అవుట్పుట్ నాణ్యతను ప్రతిబింబిస్తే, ఆ సంకేతం విశ్వసనీయత తగ్గుతుంది.
ఈ అధ్యయనం ఒక బోధనా సవాలునూ లేవనెత్తుతోంది. ఆధునిక విశ్వవిద్యాలయాల్లో రచన మరియు కోడింగ్ పక్క పనులు కావు; అవి అనేక విభాగాలు విశ్లేషణ, సమస్య పరిష్కారం, కమ్యూనికేషన్ను ఎలా బోధిస్తాయన్న దానికి కేంద్రంలో ఉంటాయి. అంటే, ప్రభావితమైన ఫార్మాట్లను పూర్తిగా తీసివేయడం ద్వారా విద్య యొక్క అసలు స్వభావాన్నే మార్చాల్సి వస్తుంది. అందుకే, సంస్థలు అసైన్మెంట్లను మళ్లీ రూపకల్పన చేయాలి, ప్రత్యక్ష లేదా పర్యవేక్షిత మూల్యాంకనాన్ని పెంచాలి, లేదా మౌఖిక రక్షణలు, డ్రాఫ్టులు, ప్రక్రియ డాక్యుమెంటేషన్, నేర్చుకున్నదాన్ని కనిపించేలా చేసే ఇతర విధానాలపై మరింత దృష్టి పెట్టాలి.
ఈ పరిశోధన ఏమి చెప్పడం లేదు
మూల పదార్థంలో సారాంశంగా చెప్పినట్లుగా, ఈ అధ్యయనం అన్ని విద్యార్థులు AIని దుర్వినియోగం చేస్తున్నారని లేదా ఏ AI సహాయమూ విద్యను తప్పనిసరిగా దెబ్బతీస్తుందని చెప్పడం లేదు. అలాగే ఏ విద్యార్థికైనా నేర్చుకోవడం మెరుగుపడలేదని కూడా ఇది చెప్పదు. కొందరు విద్యార్థులు AIని ట్యూటర్, ఎడిటర్, లేదా డీబగింగ్ సహాయంగా ఉపయోగించి అవగాహనకు మద్దతు పొందవచ్చు.
కానీ మొత్తం స్థాయిలో, ఇక్కడ చూపిన ఆధారాలు వేరే దిశను సూచిస్తున్నాయి. AI సూపర్విజన్ లేని విద్యార్థి పనిని సులభంగా భర్తీ చేయగల చోటే అత్యంత బలమైన గ్రేడ్ మార్పులు కనిపిస్తున్నాయి, నియంత్రిత పరిస్థితుల్లో విద్యార్థులు స్వతంత్రంగా జ్ఞానాన్ని ప్రదర్శించాల్సిన చోట కాదు.
ఉన్నత విద్య తదుపరి దశకు హెచ్చరిక
జనరేటివ్ AI ఇప్పుడు విద్యా వాతావరణంలో భాగమైపోయింది. ఇక ప్రశ్న విద్యార్థులకు దాన్ని పొందే అవకాశం ఉందా అనేది కాదు, సంస్థలు ఎలా స్పందిస్తాయన్నదే. ఈ అధ్యయనం చెప్పేది ఏమిటంటే, కోర్సు రూపకల్పన మారకుండా ఉంటే, గ్రేడ్లు పైకి జారుతూనే ఉండవచ్చు, కానీ అవి తక్కువ అర్థవంతంగా మారవచ్చు.
ఇది కేవలం నియమశాస్త్ర సమస్య కాదు. ఇది మూల్యాంకన రూపకల్పన సమస్య కూడా. గ్రేడ్లు విలువను నిలుపుకోవాలనుకునే విశ్వవిద్యాలయాలు సహాయం మరియు ప్రత్యామ్నాయం మధ్య తేడాను త్వరగా గుర్తించాల్సి రావచ్చు, అలాగే ప్రధాన మేధస్సు పనిని ఔట్సోర్స్ చేయకుండా విద్యార్థులు ఏమి చేయగలరో చూపించే మరిన్ని మార్గాలను సృష్టించాల్సి రావచ్చు.
ఈ అధ్యయనానికి ఉన్న విస్తృత ప్రాముఖ్యత ఏమిటంటే, 2022 చివరి నుంచే అనేక ఉపాధ్యాయులు అనుమానిస్తున్న మార్పును ఇది కొలుస్తుంది. ChatGPT యుగం విద్యార్థులు ఎలా పని చేస్తారో మాత్రమే మార్చడం కాదు. అది అకడమిక్ గ్రేడ్లు అసలు ఏమి కొలుస్తాయో కూడా మార్చవచ్చు.
ఈ వ్యాసం The Decoder నివేదికపై ఆధారపడి ఉంది. మూల వ్యాసాన్ని చదవండి.
Originally published on the-decoder.com