కొత్త బెంచ్‌మార్క్ AIకి కఠినమైన ప్రశ్న వేస్తోంది: ఏజెంట్లు సహాయపడగలరా అనేది కాదు, వారు ఎప్పుడు విలువైనవారు?

AI వ్యవస్థలు మెరుగుపడుతున్న కొద్దీ, అత్యంత ముఖ్యమైన ప్రాయోగిక ప్రశ్న వాటి ద్వారా పని పూర్తవుతుందా అన్నదానినుంచి, మనుషుల కంటే తక్కువ మొత్తం ఖర్చుతో అదే పని చేయగలవా అన్నదానికి మారుతోంది. అధునాతన AI వ్యవస్థలను మూల్యాంకనం చేసే పరిశోధనా సంస్థ METR, ఈ ప్రశ్నకు నేరుగా స్పందించేందుకు ఒక కొత్త ప్రమాణాన్ని ప్రతిపాదించింది. దానిని “expenditure horizon” అంటారు, మరియు దాని సారాంశం సూటిగా ఉంటుంది: AI వ్యవస్థ మరియు మనిషి ఒకే స్థాయి మెరుగుదలను సాధించడానికి ఎంత ఖర్చు చేయాలో పోల్చి, వారి ఖర్చులు సమానమయ్యే బిందువును గుర్తించడం.

చాలా సాధారణ AI బెంచ్‌మార్క్‌లు పనితీరును సాదా విజయం-పరాజయం ఫలితంగా మార్చేస్తాయి కాబట్టి ఈ ఆలోచన ముఖ్యం. అటువంటి పరీక్షలు ఒక model సమస్యను పరిష్కరించిందా లేదా చూపగలవు, కానీ అక్కడికి చేరేందుకు జరిగిన ఆర్థిక తేడాల గురించి చాలా తక్కువ చెబుతాయి. కంపెనీలు, ప్రయోగశాలలు, విధాన రూపకర్తలు AI ఆటోమేషన్ నిజంగా ఎక్కడ సాధ్యమో నిర్ణయించేటప్పుడు, ఆ లోపం ఇక నిర్లక్ష్యం చేయలేనిదిగా మారుతోంది.

Expenditure horizon ఎలా పనిచేస్తుంది

మూల పదార్థం ప్రకారం, METR రూపకల్పన మానవ శ్రమ ఖర్చు, AI వ్యవస్థలను నడిపే ఖర్చు, మరియు ప్రయోగాల్లో ఉపయోగించిన compute ను ఒకే పోలికలో కలిపేస్తుంది. ఫలితం ద్వంద్వ స్కోర్ కాకుండా మరింత నిరంతర విలువ కొలమానం అవుతుంది. అదే మెరుగుదలకు AI ఖర్చు మనిషి ఖర్చుకంటే తక్కువైతే, AI అనుకూల వైపు ఉంటుంది. AI ఎక్కువ ఖర్చు అవసరం చేస్తే, మనిషి ఇంకా చౌక ఎంపికగా మిగులుతాడు.

ఈ రూపకల్పన ఉపయోగకరంగా ఉంటుంది, ఎందుకంటే ఇది అనేక సంస్థలు నిజంగా తీసుకునే నిర్ణయాల విధానానికి సరిపోతుంది. వారు AI ఏదైనా అవుట్‌పుట్ ఇవ్వగలదా అని మాత్రమే అరుదుగా అడుగుతారు. oversight, experimentation, retries, మరియు infrastructure ను కలిపిన తర్వాత అది ఖర్చు, సమయం, లేదా రెండింటినీ తగ్గిస్తుందా అని అడుగుతారు. డెమోలో ప్రభావవంతంగా కనిపించే agent కూడా చాలా compute ఖర్చు చేస్తే లేదా చాలా సపోర్టింగ్ రన్‌లు అవసరమైతే ఆ పరీక్షలో విఫలమవచ్చు.

పరిచయమైన మూల్యాంకనాల కంటే ఈ విధానానికి రెండు ప్రధాన ప్రయోజనాలు ఉన్నాయని METR వాదిస్తోంది. మొదట, ఇది pass-fail లేబుల్‌కు బదులుగా సూక్ష్మమైన ఆర్థిక విలువను ఇస్తుంది. రెండవది, అనేక వేర్వేరు ఇన్‌పుట్‌లను ఒకే కరెన్సీలోకి మార్చుతుంది, దీంతో మానవ మరియు యంత్ర శ్రమను ఒకే ఫ్రేమ్‌లో పోల్చడం సులభమవుతుంది.

Use a digital twin to explore automation before committing capital - The Robot Report
More in AI & Robotics

డిజిటల్ ట్విన్ సాఫ్ట్‌వేర్ తయారీదారులకు మూలధనం ఖర్చు చేయడానికి ముందు ఆటోమేషన్‌ను అన్వేషించడానికి వీలు కల్పిస్తుంది

డిజిటల్ ట్విన్ సాఫ్ట్‌వేర్ తయారీదారులు మూలధనాన్ని కట్టుబడి చేయడానికి ముందు రోబోట్లు, లేఅవుట్‌లు మరియు ROIని మూల్యాంకనం చేయడంలో సహాయపడుతుంది—అనిశ్చిత ఆర్థిక వ్యవస్థలో ప్రమాదాన్ని తగ్గిస్తుంది.

Read article

NanoGPT speedrun‌లపై ఆలోచనను పరీక్షించడం

ఈ ప్రమాణాన్ని ప్రయోగాత్మకంగా పరీక్షించడానికి METR NanoGPT speedrun ను ఉపయోగించింది. ఇది ఒక ప్రజా కమ్యూనిటీ ప్రాజెక్ట్; ఇందులో భాగస్వాములు, పనిని మార్చకుండా training approach ను మెరుగుపరచి, standard hardware పై ఒక language model ను అత్యంత వేగంగా train చేయడానికి పోటీపడతారు. లక్ష్యం స్థిరంగా ఉండటం వల్ల, పనితీరు మెరుగుదలలను కాలక్రమేణా ట్రాక్ చేయగలిగే విధంగా ఇది పోలికకు అద్భుతమైన వాతావరణాన్ని అందిస్తుంది.

The green line represents returns from human labor, the red curve represents an AI agent's returns. Where they cross is the expenditure horizon. | Image: METR
The green line represents returns from human labor, the red curve represents an AI agent's returns. Where they cross is the expenditure horizon. | Image: METR

మూలం ప్రకారం, ఈ speedrun మే 2024 నుండి 82 documented improvement steps ను నమోదు చేసింది. దీంతో cumulative training time సుమారు 45 నిమిషాల నుంచి రెండు నిమిషాల కంటే తక్కువకు తగ్గింది. ఈ చారిత్రక రికార్డ్ ప్రతి చిన్న అభివృద్ధికి ఎంత మానవ శ్రమ వెచ్చించబడిందో అంచనా వేయడానికి, ఆ తరువాత అదే ప్రగతిని AI వ్యవస్థలతో సాధించడానికి అయ్యే ఖర్చుతో పోల్చడానికి METR కు అవకాశం ఇచ్చింది.

మానవ శ్రమను అంచనా వేయడానికి, METR ఈ ప్రాజెక్ట్‌లో అత్యంత చురుకైన ఇద్దరు సహాయకులతో ఇంటర్వ్యూలు నిర్వహించింది, అలాగే ప్రతి అభివృద్ధి వెనుక ఉన్న పనిని అంచనా వేయడానికి Opus-4.6 అనే AI model ను కూడా ఉపయోగించింది. రెండు విధానాలూ సమానమైన సుమారు సంఖ్యకు వచ్చాయి: ప్రతి 1 శాతం speedup కు సుమారు 16 గంటల పని. మూలం మానవ వైపును ప్రతి 1 శాతం speedup కు సుమారు $2,500 ఖర్చుగా కూడా వివరించింది.

AI agents కోసం ప్రారంభ ఫలితం ఎందుకు నిరాశాజనకంగా ఉంది

మూలంలో వివరించిన ప్రారంభ కనుగొనడం ఉత్సాహపరిచే విషయం కాదు. ఈ బెంచ్‌మార్క్‌లో expenditure horizon ప్రస్తుత agents కు నిరుత్సాహకరంగా కనిపిస్తోంది. దీని అర్థం AI వ్యవస్థలు optimization-heavy పనుల్లో పనికిరావని కాదు. కానీ మొత్తం ఖర్చులను లెక్కిస్తే, అవి ఇంకా కఠినమైన లేదా అధిక బడ్జెట్ గల అభివృద్ధి పనుల్లో మానవ contributors కంటే మెరుగ్గా పనిచేయడంలో ఇబ్బంది పడవచ్చని ఇది సూచిస్తోంది.

ఈ నమూనా AI మూల్యాంకనంలో ఉన్న విస్తృత భావనకు సరిపోతుంది: చిన్న, చౌక, స్పష్టంగా నిర్వచించిన సమస్యలపై agents చాలా బలంగా కనిపిస్తాయి, కానీ పనులు మరింత సంక్లిష్టంగా మరియు ఖరీదుగా మారినప్పుడు వారి ప్రయోజనం తగ్గిపోతుంది. మూలం ప్రకారం METR మునుపటి పరీక్షల్లో కూడా ఇలాంటి దాన్ని చూసింది. AI సులభమైన, తక్కువ ఖర్చు గల పనుల్లో మనుషులను మించగలదు, కానీ బడ్జెట్లు పెరిగి సమస్యలు కష్టతరమయ్యే కొద్దీ, మనుషులే ఎక్కువ ఆర్థికపరమైన ఎంపికగా మారుతారు.

ఇది autonomous AI engineering చుట్టూ ఉన్న అతిశయోక్తి కథనాలకు ఒక ముఖ్యమైన సవరణ. ఒక agent వేగంగా ఉపయోగకరమైన మార్పు చేయగలిగితే, అది పరిమిత ఆపరేషనల్ పరిధిలో ఖర్చు-ప్రభావితంగా ఉండొచ్చు. కానీ అది విస్తృత experimentation, పునరావృత prompting, భారీ inference బిల్లులు, లేదా ఖరీదైన support compute ను అవసరం చేస్తే, వ్యాపారపరమైన న్యాయం త్వరగా క్షీణించవచ్చు. expenditure horizon ఆ క్షీణత మొదలయ్యే స్థలాన్ని ఖచ్చితంగా కొలవడానికి చేసిన ప్రయత్నం.

The NanoGPT speedrun timeline: 82 improvement steps delivered a cumulative 33x speedup. | Image: METR
The NanoGPT speedrun timeline: 82 improvement steps delivered a cumulative 33x speedup. | Image: METR

ప్రమాణం ఏమి స్పష్టం చేస్తుంది, ఏమి మిస్ అవుతుంది

METR ప్రతిపాదన యొక్క విలువ raw capability నుండి cost-adjusted capability వైపు సంభాషణను మళ్లించడం. ఇది మరింత కఠినమైన ప్రమాణం, మరియు నిజమైన ప్రపంచ వినియోగానికి బహుశా సరైనదే. సంస్థలు పరికరాలను కొత్తవి కాబట్టి స్వీకరించవు. అవి throughput పెంచినప్పుడు, ఖర్చులు తగ్గించినప్పుడు, సామర్థ్యాన్ని విస్తరించినప్పుడు, లేదా వీటి కలయికను అందించినప్పుడు మాత్రమే స్వీకరిస్తాయి. ఆ ఫలితాల గురించి మాట్లాడలేని బెంచ్‌మార్క్‌కు పరిమిత ప్రాయోగిక విలువే ఉంటుంది.

అదే సమయంలో, మూలం ఈ ప్రమాణానికి కొన్ని అంధబిందువులు ఉన్నాయని చెబుతుంది. మానవ శ్రమ, ప్రయోగాత్మక compute, మరియు AI ఆపరేషన్‌లను ఒకే dollar comparison గా కుదించే ఏ రూపకల్పనైనా కొన్ని అనుమానాలపై ఆధారపడుతుంది. మానవ పని నాణ్యత మారవచ్చు. గంటల రేట్లు మారవచ్చు. కొన్ని AI-generated ఆలోచనలను సులభంగా పక్కన పెట్టవచ్చు, మరికొన్ని అపారమైన లాభాలను తెరవవచ్చు. బెంచ్‌మార్క్ పనిని ఎంచుకోవడం కూడా ముఖ్యం. NanoGPT speedrunning ప్రజాప్రాప్తి గలది, కొలవదగినది, మరియు సాంకేతికంగా ప్రాసంగికమైనది, కానీ అది ఇంకా ఒక్క డొమైన్ మాత్రమే.

మూలంలో మరో ముఖ్యమైన హెచ్చరిక ఉంది: కొత్త model తరాలు ఈ దృశ్యాన్ని వేగంగా మార్చగలవు. నేటి నిరాశాజనక expenditure horizon వచ్చే ఏడాదికి తుదినిర్ణయం కాదు. model quality మెరుగైతే, tool use మరింత నమ్మకంగా మారితే, లేదా inference costs తగ్గితే, మానవ మరియు AI ఆర్థికతల మధ్య crossover point గణనీయంగా మారవచ్చు.

ఒకే బెంచ్‌మార్క్‌కు మించి ఎందుకు ముఖ్యం

ఈ హెచ్చరికలున్నా, METR ప్రతిపాదన సరైన సమయంలో వచ్చింది. AI చర్చలు productivity, acceleration, మరియు self-improving systems గురించి ఉన్న వ్యాఖ్యలతో నిండి ఉన్నాయి. ఆ వాదనలో చాలా భాగం ఇంకా సారాంశాత్మకంగానే ఉంది, ఎందుకంటే ఈ రంగంలో మానవ మరియు యంత్ర శ్రమను సమాన స్థాయిలో పోల్చడానికి పంచుకున్న విధానాలు లేవు. expenditure horizon అలాంటి ఒక విధానాన్ని నిర్మించడానికి చేసిన ప్రయత్నం.

దాని పెద్ద దోహదం సాంకేతికత కంటే సాంస్కృతికంగా కూడా ఉండవచ్చు. ఇది మూల్యాంకనాన్ని నాటకీయ demos నుండి బడ్జెట్ వాస్తవికత వైపు నడిపిస్తుంది. కంపెనీలు పెరుగుతున్న AI ఖర్చులను కొలవగల returns తో న్యాయీకరించాల్సిన మార్కెట్లో ఇది సరైన ఒత్తిడి. ఈ ప్రమాణం విస్తరిస్తే, agents నిజంగా ఎక్కడ ఆర్థికపరంగా ఉన్నారో, అన్ని ఖర్చులు లెక్కించిన తరువాత మాత్రమే సమర్థవంతంగా కనిపించే workflows ఏవో వేరు చేయడంలో సహాయపడవచ్చు.

ప్రస్తుతం METR ప్రారంభ ఫలితాలు ఒక నియంత్రిత నిర్ణయాన్ని సూచిస్తున్నాయి. AI agents కొన్ని పరిమిత optimization tasks లో ఇప్పటికే ఉపయోగపడవచ్చు, కానీ వారి ఖర్చు ఆధిక్యాన్ని ముందే ఊహించకూడదు. కొనుగోలు చేసేవారికి, నిర్మించేవారికి అత్యంత ముఖ్యమైన చోట్ల, ప్రశ్న ఇక model ఏమి చేయగలదు అనే దానికే పరిమితం కాదు. ప్రశ్న అది ఒక వ్యక్తికంటే చౌకగా ఏమి చేయగలదు అనేదే.

ఈ వ్యాసం The Decoder నివేదికపై ఆధారపడి ఉంది. మూల వ్యాసాన్ని చదవండి.

Originally published on the-decoder.com