ఏజెంట్లను స్వేచ్ఛగా నడపడం వెనుక దాగిన ఖర్చు

AI కోడింగ్ ఏజెంట్ల ఆర్థిక గణితం, అవి ఒకే ప్రశ్నలకు సమాధానం ఇవ్వడం ఆపి స్వయంగా పని చేయడం ప్రారంభించినప్పుడు మారిపోతుంది. ఒకసారి చేసే అంచనా చవక. కానీ దీర్ఘకాలిక, పర్యవేక్షణ లేని రన్ అలా ఉండదు: రీజనింగ్ దశలు టూల్ కాల్స్పై పేరుకుపోతాయి, అవి ఫీడ్బ్యాక్ లూప్లపై పేరుకుపోతాయి, ప్రతి చక్రంతో టోకెన్ బిల్లు పెరుగుతుంది. అంతర్లీన మోడల్ను నడపడం చవకగా చేయడం ద్వారా కాకుండా, దాని చుట్టూ ఉన్న స్కాఫోల్డింగ్ను తిరిగి రాయడం ద్వారా ఆ బిల్లుపై ఊహించని కోణం నుంచి దాడి చేసే వ్యవస్థను వివరిస్తూ Nvidia పరిశోధకులు ఒక పేపర్ ప్రచురించారు.

పరిశోధకుల ప్రకారం, SoL-Pi అనే వారి పద్ధతి పనితీరును దాదాపు మార్చకుండా టోకెన్ వినియోగాన్ని దాదాపు సగానికి తగ్గిస్తుంది. ఈ పనిని The Decoder నివేదించింది, ఈ వ్యవస్థ మోడల్ను కాకుండా హార్నెస్ అని పిలిచే నియంత్రణ పొరను లక్ష్యంగా చేసుకుంటుందని అది పేర్కొంది.

హార్నెస్ నిజానికి ఏమి చేస్తుంది

హార్నెస్ అనేది ఒక మోడల్ మరియు అది పనిచేసే వాతావరణం మధ్య ఉండే సాఫ్ట్వేర్ పొర. అది ఏజెంట్కు తాను ఏ స్థితిలో ఉందో చూపిస్తుంది, చర్యలు ఎలా అమలవుతాయో నిర్ణయిస్తుంది, ఆ తర్వాత మోడల్కు ఏ ఫీడ్బ్యాక్ తిరిగి వస్తుందో నిర్ణయిస్తుంది. Codex, Claude Code, OpenClaw వంటి సుపరిచిత ఉత్పత్తులు భాషా మోడల్ను ఫైళ్లను ఎడిట్ చేయగల, టెస్టులు రన్ చేయగల, పునరావృతం చేయగల ఒక వస్తువుగా మార్చడానికి ఇలాంటి హార్నెస్లపై ఆధారపడతాయి.

ఆ పొర లూప్లో ఎంత ఎక్కువ భాగాన్ని నియంత్రిస్తుందో, ఖర్చుపై అంత అసాధారణ ప్రభావం ఉంటుంది. ప్రతి అనవసర టూల్ కాల్, ప్రతి అతిపెద్ద కాంటెక్స్ట్ విండో, ఆలస్యంగా మండే ప్రతి వెరిఫికేషన్ దశ కచ్చితంగా అవసరం లేని టోకెన్లను జోడిస్తాయి. ఇప్పటివరకు, చాలా సామర్థ్య పని వేరే చోట కేంద్రీకృతమైంది: వేగవంతమైన అటెన్షన్ కెర్నెల్స్ మరియు సర్వింగ్ ఇన్ఫ్రాస్ట్రక్చర్ ద్వారా ఒకే టోకెన్ ధరను తగ్గించడం, క్వాంటైజేషన్ ద్వారా మోడల్లను కుదించడం, లేదా పనిని చిన్న, చవక మోడల్లకు రూటింగ్ చేయడం.

CMR Surgical
More in AI & Robotics

CMR Surgical, Versius రోబోటిక్స్‌లో Stryker 400 మిలియన్ డాలర్ల పెట్టుబడి

CMR Surgicalలో సుమారు 400 మిలియన్ డాలర్లు పెట్టుబడి చేసిన Stryker, మిగిలిన సంస్థను కొనుగోలు చేసే ఆప్షన్‌తో పాటు అమెరికాలో ప్రత్యేక విక్రయ హక్కులు పొందింది.

Read article

హార్నెస్ ఆప్టిమైజేషన్ ఎందుకు కష్టం

హార్నెస్ను చేతితో ట్యూన్ చేయడం కష్టం ఎందుకంటే దాని బాధ్యతలు గట్టిగా అల్లుకుపోయి ఉంటాయి. టూల్ వినియోగం, కాంటెక్స్ట్ నిర్వహణ, వెరిఫికేషన్ రొటీన్లు, అబార్ట్ లాజిక్ అన్నీ పరస్పరం ప్రభావితం చేసుకుంటాయి. ఒక దశలో టోకెన్లను తగ్గించే మార్పు మరో చోట వైఫల్యాలను తీసుకురావచ్చు, లేదా ఖర్చును రన్ యొక్క తర్వాతి దశకు మార్చవచ్చు, అక్కడ దాన్ని గుర్తించడం కష్టం.

Diagram of the SoL-Pi auto-research loop showing research environments, a research AI, an idea pool, and four retained mechanisms, alongside bar charts comparing score and API costs for Codex, Claude Code, Pi, and SoL-Pi on EdgeBench.
A research AI analyzes agent traces, proposes harness changes, and keeps only those that maintain performance while cutting costs. SoL-Pi saves 50 percent compared to Codex and 54.3 percent compared to Claude Code on EdgeBench. | Image: Nvidia

ఆచరణలో, ఇంజినీర్లు దీర్ఘమైన ఎగ్జిక్యూషన్ ట్రేస్లను చదివి, పునరావృతమయ్యే వైఫల్య నమూనాలను గుర్తించి, ఆ పరిశీలనలను కోడ్ మార్పులుగా మారుస్తారు. ఇది నెమ్మదైన, చేతితో చేసే పని, అదే తప్పును పదోసారి గమనించే వ్యక్తిపై ఆధారపడుతుంది.

SoL-Pi శోధనను ఎలా ఆటోమేట్ చేస్తుంది

SoL-Pi ఆ మానవ లూప్ను తీసుకుని ఆటోమేట్ చేస్తుంది. ఒక రీసెర్చ్ ఏజెంట్ మరో ఏజెంట్ ఉత్పత్తి చేసిన ట్రేస్లను గమనిస్తుంది, హార్నెస్కు సవరణలను ప్రతిపాదిస్తుంది, ఆ తర్వాత ఆ ప్రతిపాదనలను సిద్ధం చేసిన వాతావరణాల్లో పరీక్షిస్తుంది. అభ్యర్థి మార్పులు సామర్థ్య తనిఖీలు మరియు సామర్థ్య తనిఖీలు రెండింటి ద్వారా జల్లెడ పడతాయి, మరియు ఖర్చును తగ్గిస్తూనే పనితీరును స్థిరంగా ఉంచే వేరియంట్లు మాత్రమే ఉంచబడతాయి.

రచయితలు ఈ విధానాన్ని రికర్సివ్ సెల్ఫ్-ఇంప్రూవ్మెంట్ నుంచి తీసుకున్నట్లు వివరిస్తారు: ఒక AI వ్యవస్థ ప్రభావవంతంగా మరో వ్యవస్థ యొక్క నిర్వహణ పరిస్థితులను మెరుగుపరుస్తుంది. ఒక ముఖ్యమైన వివరం ఏమిటంటే, తుది ఫలితాన్ని అంచనా వేయడానికి ఉపయోగించే మూల్యాంకనం హార్నెస్ ఫ్రీజ్ చేసిన తర్వాత మాత్రమే జరుగుతుంది, మరియు ఆ హోల్డ్-అవుట్ మూల్యాంకనం శోధనలోకి తిరిగి ఫీడ్ అవ్వదు. ఆ వేరుచేయడం ముఖ్యం, ఎందుకంటే ఆప్టిమైజేషన్ ప్రక్రియ చివరికి ఎదుర్కోబోయే పరీక్షలకు తనను తాను ఎంతవరకు ట్యూన్ చేసుకోగలదో అది పరిమితం చేస్తుంది.

ప్రయోగం యొక్క స్థాయి

శోధన విస్తృతంగా జరిగింది. 535 ఎగ్జిక్యూటబుల్ వాతావరణాల్లో, SoL-Pi 152 వేర్వేరు దిశలను అన్వేషించింది. టాస్క్ మిశ్రమంలో ఇవి ఉన్నాయి:

  • GitHub ఇష్యూ మరియు పుల్ రిక్వెస్ట్ జంటల నుంచి నిర్మించిన 495 టాస్క్లు
  • మూల్యాంకనం కోసం రూపొందించిన 40 సింథటిక్ టెస్ట్ కేసులు
  • మొత్తం 3,000 కంటే ఎక్కువ రన్లు
  • 60,000 కంటే ఎక్కువ ఏజెంట్-ఎన్విరాన్మెంట్ ఇంటరాక్షన్లు

ఆ పరిమాణాన్ని వ్యవస్థ ఎంత విస్తృతంగా శోధించిందో రుజువుగా పరిశోధకులు ప్రదర్శిస్తారు, కానీ ఎక్కువ శోధన స్వయంచాలకంగా మెరుగైన ఫలితాలను ఇవ్వదని కూడా హెచ్చరిస్తారు. విస్తృతి ఉపయోగకరమైన హార్నెస్ కాన్ఫిగరేషన్ను కనుగొనే అవకాశాన్ని పెంచుతుంది, కానీ దానిని హామీ ఇవ్వదు.

కొలిచిన పొదుపులు

ప్రధాన సంఖ్యలు గణనీయంగా ఉన్నాయి. EdgeBenchలో, పరిశోధకుల ప్రకారం, SoL-Pi Codexతో పోలిస్తే 50 శాతం టోకెన్లను, Claude Codeతో పోలిస్తే 54.3 శాతం టోకెన్లను ఆదా చేసింది, పనితీరు దాదాపు స్థిరంగా ఉంది. టాస్క్ సామర్థ్యంలో చిన్న మార్పుతో మొత్తం టోకెన్ తగ్గుదల 49 శాతం వరకు ఉందని పేపర్ వివరిస్తుంది.

Flowchart of the search pipeline from trajectory rollouts through map-reduce analysis, mechanism proposal, candidate implementation, independent review, and development validation to a separate held-out evaluation.
The held-out evaluation happens only after the harness is frozen and doesn't feed back into the search process. | Image: Nvidia

ఆ వివరణ ముఖ్యం. ఏజెంట్ను ఎక్కువసార్లు విఫలం కావడానికి అనుమతిస్తే, వెరిఫికేషన్ను దాటవేస్తే, లేదా చట్టబద్ధమైన టాస్క్లపై ముందుగానే అబార్ట్ చేస్తే టోకెన్ వినియోగాన్ని తగ్గించడం సులభం. ఇక్కడ చెప్పేది వేరు: పొదుపులు క్షీణించిన ప్రవర్తన నుంచి కాకుండా తక్కువ నియంత్రణ లాజిక్ నుంచి వస్తాయి, అందుకే ఎంపిక ప్రక్రియలో సామర్థ్య తనిఖీలు సామర్థ్య తనిఖీల పక్కనే ఉంటాయి.

ఓవర్ఫిట్టింగ్ ప్రశ్న

ఈ పరిశోధన రంగంలో ఒక తెలిసిన ప్రమాదం ఉంది. ఆటోమేటిక్గా ఆప్టిమైజ్ చేసిన హార్నెస్లు ఓవర్ఫిట్ అయ్యే ప్రవృత్తి కలిగి ఉంటాయని, అవి ట్యూన్ చేసిన ట్రేస్లపై అత్యంత సమర్థవంతంగా ఉంటూ కొత్త పరిస్థితులకు పేలవంగా సాధారణీకరిస్తాయని మునుపటి పని చూపింది. Nvidia రచయితలు దీన్ని గుర్తించినట్లు కనిపిస్తుంది, అందుకే తుది అంచనా ఫ్రీజ్ చేసిన హార్నెస్పై నిర్వహించబడుతుంది మరియు శోధన లూప్ నుంచి వేరు చేయబడుతుంది.

అయినప్పటికీ, ఆ జాగ్రత్తను ముందుకు తీసుకెళ్లడం విలువైనది. ఇక్కడ ఉపయోగించిన వాతావరణాలు అనేకం అయినప్పటికీ, కోడింగ్ ఏజెంట్లు ఎదుర్కొనే గందరగోళ వాస్తవికత యొక్క పరిమిత నమూనా మాత్రమే. 535 వాతావరణాల్లో మెరుగుపరచిన హార్నెస్ నిజంగా అపరిచిత రిపాజిటరీ, అస్థిరమైన టెస్ట్ సూట్, లేదా అస్పష్టమైన బగ్ రిపోర్ట్ ఎదురైనప్పుడు నిలబడుతుందో లేదో అనేది విస్తృత డిప్లాయ్మెంట్ మాత్రమే సమాధానం చెప్పగల ప్రశ్న.

ఏజెంట్ ఆర్థిక శాస్త్రానికి దీని అర్థం

ఫలితాలు ప్రయోగశాల వెలుపల నిలిచినట్లయితే, ప్రభావాలు తాత్వికమైనవి కాకుండా ఆచరణాత్మకమైనవి. స్వయంప్రతిపత్తి కోడింగ్ ఏజెంట్లను నడిపే బృందాలు ప్రతి టోకెన్కు చెల్లిస్తాయి, మరియు ఏజెంట్లను ఉపయోగకరంగా మార్చే దీర్ఘకాలిక పర్యవేక్షణ లేని సెషన్లే వాటిని ఖరీదైనవిగా మారుస్తాయి. సామర్థ్యాన్ని కోల్పోకుండా వర్క్ఫ్లో నుంచి దాదాపు సగం టోకెన్లను పిండడం, బడ్జెట్ ఆ సెషన్లలో ఎన్నింటిని నిలబెట్టగలదో మారుస్తుంది.

ఆప్టిమైజేషన్ కృషిని ఎక్కడ ఖర్చు చేయడం విలువైనదో కూడా ఈ పని సూచిస్తుంది. మోడల్-స్థాయి సామర్థ్యం సంవత్సరాలుగా డిఫాల్ట్ లక్ష్యంగా ఉంది, అది ఖచ్చితంగా ఇప్పటికీ ముఖ్యమే. కానీ కాంటెక్స్ట్, వెరిఫికేషన్, రీట్రైల గురించిన నిర్ణయాలు హార్నెస్లోనే తీసుకోబడతాయి, మరియు ఈ పేపర్ చూపినట్లు, ఆ నిర్ణయాల్లోనే పెద్ద వాటా వ్యర్థం పేరుకుపోతుంది. మోడల్ మరియు వాతావరణం మధ్య ఉన్న అంతరం, చూడటానికి మిగిలి ఉన్న అత్యంత ఉత్పాదక ప్రదేశం కావచ్చు.

ఈ వ్యాసం The Decoder నివేదిక ఆధారంగా రూపొందించబడింది. అసలు వ్యాసాన్ని చదవండి.

Originally published on the-decoder.com