ఉద్యోగులు దాన్ని గేమ్ చేసిన తర్వాత Amazon AI వినియోగ లీడర్‌బోర్డును తొలగించింది

Amazon అంతర్గత AI మెట్రిక్ తప్పు ప్రవర్తనను ప్రోత్సహించింది

ఉద్యోగులు అర్థరహిత పనులకు AI సాధనాలను ఉపయోగించి లీడర్‌బోర్డులో ఎత్తుకు చేరడం ఎలా అనే విషయం తెలుసుకున్న తరువాత, Amazon ఒక అంతర్గత AI ర్యాంకింగ్ సిస్టమ్‌ను తొలగించినట్లు సమాచారం. పెద్ద సంస్థల్లో వేగంగా అమలు చేసే AI స్వీకరణ మెట్రిక్స్ ప్రోత్సాహాలను ఎలా వక్రీకరించగలవో ఈ ఘటన ఒక ఉపయోగకరమైన కేస్ స్టడీ.

ఇచ్చిన మూల పాఠ్యం ప్రకారం, కంపెనీ “Kirorank” అనే డాష్‌బోర్డును ఉపయోగించి Amazon యొక్క Kiro డెవలపర్ ప్లాట్‌ఫారమ్‌పై ఉద్యోగుల కార్యకలాపాల ఆధారంగా వారికి స్కోర్ ఇచ్చింది. ఈ మెట్రిక్ వినియోగాన్ని ప్రోత్సహించడానికి ఉద్దేశించబడింది, కానీ కొంతమంది ఉద్యోగులు అర్థవంతమైన ఫలితాల కోసం కాకుండా స్కోర్ కోసం AIని ఉపయోగించడం ప్రారంభించారు. ఫలితంగా కార్యకలాపాల సంఖ్యలు పెరిగాయి, అదనపు క్లౌడ్ ఖర్చులు వచ్చాయి, మరియు దానికి సరిపోలే విలువకు తక్కువ ఆధారాలు మాత్రమే కనిపించాయి.

వినియోగమే లక్ష్యంగా మారినప్పుడు

మూల సమస్య సంస్థాగత రూపకల్పనలో పరిచయమైనదే: ఒక మెట్రిక్ లక్ష్యంగా మారిన వెంటనే, ప్రజలు అసలు లక్ష్యానికి బదులుగా ఆ మెట్రిక్‌కే అనుకూలంగా ప్రవర్తిస్తారు. ఈ సందర్భంలో, స్పష్టమైన లక్ష్యం డెవలపర్లు ఉపయోగకరమైన AIని స్వీకరించడం. ఎంచుకున్న ప్రాక్సీ ఒక అంతర్గత ప్లాట్‌ఫారమ్‌పై కార్యకలాపం.

ఆ తేడా ఖర్చుతో కూడుకున్నదిగా మారింది. ఉద్యోగులు ఎక్కువ AI-ఆధారిత పనులను నడిపించడం ద్వారా తమ స్థితిని మెరుగుపరుచుకోగలిగితే, కోడ్ నాణ్యత, షిప్పింగ్ వేగం లేదా కస్టమర్ ప్రభావం పెరగకపోయినా టోకెన్ వినియోగం మరియు ప్లాట్‌ఫారమ్ ట్రాఫిక్ పెరిగే అవకాశం ఉంది. కొంతమంది ఉద్యోగులు ర్యాంకింగ్స్‌లో పైకి వెళ్లడానికి అర్థరహిత పనులపై AI ఏజెంట్లను ఉపయోగించినట్లు మూల పాఠ్యం చెబుతోంది.

సీనియర్ వైస్ ప్రెసిడెంట్ Dave Treadwell ఉద్యోగులతో, “Please don’t use AI just for the sake of using AI.” అని అన్నారని సమాచారం. ఆ ప్రకటన సమస్య యొక్క కేంద్రాన్ని సరిగ్గా పట్టుకుంది. నాయకత్వం దీన్ని స్పష్టంగా చెప్పాల్సిన పరిస్థితి వచ్చినప్పుడు, దాన్ని మద్దతు ఇవ్వాల్సిన వ్యాపార ఫలితం నుండి కొలతా రూపకల్పన ఇప్పటికే దారి తప్పినట్టే.

డాష్‌బోర్డు వెనుక ఉన్న ఒత్తిడి

సమయానికి కూడా ప్రాధాన్యం ఉంది. మూల పాఠ్యం ప్రకారం, Amazon తన 80% కంటే ఎక్కువ డెవలపర్లు వారానికి ఒకసారి AIని ఉపయోగించాలని లక్ష్యంగా పెట్టుకుంది. 2026లో సుమారు $200 billion ఖర్చు చేయాలని కూడా యోచిస్తోంది, అందులో ఎక్కువ భాగం AI మౌలిక సదుపాయాలపై ఉంటుంది. ఈ సంఖ్యలు అంతర్గత స్వీకరణ మెట్రిక్స్‌కు ఎందుకు అంత శ్రద్ధ లభించిందో వివరిస్తాయి.

AIలో అంత దూకుడుగా పెట్టుబడి పెడుతున్న పెద్ద సంస్థలు, సాధనాలు వాడుతున్నారనే ఆధారాన్ని కోరుకుంటాయి, అలాగే ఆ ఆధారాన్ని త్వరగా కోరుకుంటాయి. డాష్‌బోర్డులు ఒక స్పష్టమైన నిర్వహణ ప్రతిస్పందన, ఎందుకంటే అవి విస్తృత మార్పు కార్యక్రమాన్ని కనిపించే సంఖ్యగా మారుస్తాయి. కానీ కనిపించడమంటే ఉపయోగకరత కాదు. ముఖ్యంగా సాఫ్ట్‌వేర్ సంస్థల్లో, వాస్తవ స్వీకరణను కేవలం వినియోగ గణాంకాలతో పట్టుకోవడం కష్టం.

Metaలో కూడా ఇలాంటి నమూనా కనిపించిందని మూల పాఠ్యం పేర్కొంటోంది, అక్కడ ఉద్యోగులు AI వినియోగ స్కోర్లను వెంబడించారు. దీని ద్వారా ఈ సమస్య Amazon‌కు మాత్రమే పరిమితం కాదని తెలుస్తుంది. వాస్తవ లాభాలను కొలవడానికి పరిపక్వ మార్గాలు ఏర్పడకముందే AI స్వీకరణను వేగవంతం చేయడానికి ప్రయత్నిస్తున్న సంస్థలలో ఇది నిర్మాణాత్మక సమస్య కావచ్చు.

టోకెన్ లెక్కల నుండి ఉపయోగకరమైన అమలుల దిశగా

Amazon యొక్క ప్రత్యామ్నాయ మెట్రిక్ చెప్పుకునేంత స్పష్టమైనది. ముడి టోకెన్ వినియోగాన్ని ట్రాక్ చేయడానికి బదులుగా, కంపెనీ ఇప్పుడు “normalized deployments”ను కొలుస్తోంది, అంటే వాస్తవంగా ఉపయోగపడినట్టు నిరూపితమైన AI-ఉత్పత్తి కోడ్. ఈ మార్పు ఇన్‌పుట్ మెట్రిక్‌ల నుండి అవుట్‌పుట్ మెట్రిక్‌లకు మారుతున్న దిశను సూచిస్తుంది.

ఈ మార్పు తగినదే, కానీ తేలికైనది కాదు. AI-ఉత్పత్తి కోడ్ నిజంగా ఉపయోగకరమని కొలవడం, మోడల్‌ను కేవలం అమలు చేశారని నమోదు చేయడంకంటే బలమైన విజయ నిర్వచనాన్ని కోరుతుంది. ఇది ఉత్పత్తి ఫలితాలతో మరింత దగ్గరి సంబంధాన్ని, నిజమైన వర్క్‌ఫ్లోల్లో అనుసంధానాన్ని, లేదా రూపొందించిన పని శబ్దం కాకుండా నిజమైన డిప్లాయ్‌మెంట్‌కు దోహదపడిందని ధృవీకరణను సూచిస్తుంది.

అయినప్పటికీ, ఏ ప్రత్యామ్నాయ మెట్రిక్‌కైనా జాగ్రత్తగా రూపకల్పన అవసరం. ఉద్యోగులను కేవలం డిప్లాయ్‌మెంట్ లెక్కల కోసం మాత్రమే ప్రోత్సహిస్తే, వారు చిన్న లేదా తక్కువ-ప్రమాద డిప్లాయ్‌మెంట్‌లను ఆప్టిమైజ్ చేయవచ్చు. కోడ్ పరిమాణానికి బహుమతి ఇస్తే, వారు సరిగా సమీక్షించకుండా మరింత కోడ్‌ను ఉత్పత్తి చేయవచ్చు. పాఠం ఏమిటంటే మెట్రిక్‌లు అసాధ్యం అన్నది కాదు. AI స్వీకరణ మెట్రిక్‌లు అనేక సంస్థలు మొదట భావించేదానికంటే నిజమైన ఇంజినీరింగ్ విలువతో మరింత కఠినంగా సరిపోలాలి.

ఎంటర్‌ప్రైజ్ AIకి ఇది ఎందుకు ముఖ్యం

Amazon అనుభవం చూపించేది ఏమిటంటే, అంతర్గత AI రోలౌట్లు కఠిన దశలోకి ప్రవేశిస్తున్నాయి. మొదటి సవాలు సాధనాలను ఉద్యోగుల చేతుల్లోకి తీసుకెళ్లడం. తదుపరి సవాలు, ఆ సాధనాలు కేవలం ఎంగేజ్‌మెంట్ చార్టులను నింపకుండా నిజమైన పనిని మెరుగుపరుస్తున్నాయని నిరూపించడం. AI ఖర్చు విస్తరించేకొద్దీ, ప్రతీకాత్మక స్వీకరణపై ఎగ్జిక్యూటివ్ సహనం తగ్గే అవకాశం ఉంది.

ఇది ముఖ్యంగా డెవలప్‌మెంట్ వాతావరణాల్లో ప్రాముఖ్యమైనది, అక్కడ వృథా కంప్యూట్ నేరుగా ఖర్చుగా మారుతుంది, మరియు తక్కువ నాణ్యత గల జనరేటెడ్ అవుట్‌పుట్ తర్వాత దాచిన నిర్వహణ భారాలను సృష్టించగలదు. లీడర్‌బోర్డు ప్రయోగాన్ని ప్రోత్సహించవచ్చు, కానీ స్కోరింగ్ సిస్టమ్ సరళంగా ఉంటే ప్రదర్శనాత్మక ప్రవర్తనను కూడా ప్రోత్సహించవచ్చు.

మొత్తం తీసుకోవాల్సిన విషయం సూటిగా ఉంది: సంస్థలు AI వినియోగాన్నే తుది స్థితిగా పరిగణించలేవు. వారు కార్యకలాపం మరియు ప్రభావవంతత మధ్య తేడాను గుర్తించాలి. లీడర్‌బోర్డును Amazon తొలగించిన నిర్ణయం, సంస్థ ఆ పాఠాన్ని ఖరీదైన రీతిలో నేర్చుకుందని సూచిస్తుంది. ఉద్యోగులను AI సాధనాలవైపు నెట్టుతున్న ఇతర సంస్థలకు, స్వీకరణ ప్రచారాలు తప్పు ప్రవర్తనను విస్తరించే ముందు మెరుగైన ప్రోత్సాహాలు అవసరమని ఇది హెచ్చరిక.

ఈ వ్యాసం The Decoder నివేదికపై ఆధారపడింది. మూల వ్యాసాన్ని చదవండి.