నిపుణుల హెచ్చరిక: ఏఐ ఏజెంట్లకు కఠినమైన ఎంటర్‌ప్రైజ్ గార్డ్‌రైల్స్ అవసరం

ఏఐ ఏజెంట్లు సహాయ దశ నుంచి చర్య దశకు మారుతున్నాయి

ఏఐ ఏజెంట్లను ఇకపై ప్రశ్నలకు సమాధానాలు ఇచ్చి, టెక్స్ట్ డ్రాఫ్ట్ చేసే సాధారణ చాట్ ఇంటర్‌ఫేస్‌లుగా మాత్రమే చూడటం లేదు. Snowflake Summitలో మాట్లాడిన నిపుణుల ప్రకారం, అవి యాప్‌లు మరియు డేటా వాతావరణాల్లో చర్యలు తీసుకునే డిజిటల్ వర్కర్లుగా మరింతగా స్థాపించబడుతున్నాయి. ఈ మార్పు ప్రమాద ప్రొఫైల్‌ను గణనీయంగా మారుస్తుంది. ఒక సిస్టమ్ సమాచారాన్ని తెచ్చి, నిర్ణయాలు తీసుకుని, వినియోగదారుడి తరఫున చర్యలు చేపట్టగలిగితే, అసలు ప్రశ్న మోడల్ ఉపయోగకరమా అన్నది కాదు. ఆ సంస్థ తన అధికార పరిమితులను స్పష్టంగా నిర్వచించిందా, తద్వారా అది నష్టం చేయకుండా ఉండగలదా అన్నదే ప్రశ్న అవుతుంది.

ZDNET హైలైట్ చేసిన వ్యాఖ్యల్లో ఇదే ప్రధాన అంశం; అక్కడ భద్రత మరియు గుర్తింపు నిపుణులు, చాలా ప్రారంభ పायलట్‌లు సూచించే దానికంటే కంపెనీలు ఏజెంట్ డిప్లాయ్‌మెంట్‌ను ఎక్కువ క్రమశిక్షణతో చూడాలని వాదించారు. అత్యంత బలమైన హెచ్చరిక సాధారణ భాషలో వచ్చింది: ఏజెంట్లను ఉత్సాహంగా కానీ దారి తప్పిన ఇంటర్న్లలా చూడండి. ఈ ఉపమానం ఉపయోగకరం, ఎందుకంటే ఇది అవకాశం మరియు సమస్య రెండింటినీ పట్టిస్తుంది. ఇంటర్న్లు ఉత్పాదకంగా ఉండగలరు, కానీ వారి పరిధి బాగా నిర్వచించబడినప్పుడు, అనుమతులు పరిమితమైనప్పుడు, మరియు ఫలితానికి బాధ్యత వహించే మేనేజర్ ఉన్నప్పుడు మాత్రమే. ఏఐ ఏజెంట్లకూ అదే నిర్మాణం అవసరమని ప్యానలిస్టులు సూచించారు.

అనుమతులే ఇప్పుడు అసలైన పోరాటభూమి

Resolve AI స్థాపకుడు మరియు CTO మాయక్ అగర్వాల్, బలమైన నియంత్రణలు లేకుండా ఏజెంట్‌కు విస్తృత లక్ష్యం ఇవ్వడం త్వరగా అనవసర ఫలితాలకు దారితీస్తుందని హెచ్చరించారు. ఆయన మాటలలో, ఏజెంట్లు సహజంగా నిర్లక్ష్యంగా ఉంటారని కాదు; వారు సంప్రదాయ సాఫ్ట్‌వేర్‌తో పోలిస్తే మరింత అంచనా వేయలేని విధంగా పనిచేస్తారు. పాత ఆటోమేషన్ పైప్‌లైన్లు స్పష్టంగా ఉండేవి: సిస్టమ్ ఒక APIని పిలిచి, తెలిసిన payload‌ను పంపి, తెలిసిన తర్వాతి చర్యను ప్రారంభించేది. ఏజెంటిక్ సిస్టమ్‌లు లక్ష్యాన్ని సాధించేందుకు ప్రయత్నిస్తూ మార్గాలను డైనమిక్‌గా రూపొందించగలవు. ఆ సౌలభ్యమే వాటిని ఆకర్షణీయంగా చేస్తుంది, అదే వాటిని నియంత్రించడాన్ని కష్టతరం కూడా చేస్తుంది.

ప్రయోగంలో దీని అర్థం ఎంటర్‌ప్రైజ్ బృందాలు feature-level టెస్టింగ్ వద్ద ఆగకూడదు. ఏజెంట్ ఏది చదవగలదు, ఏది వ్రాయగలదు, ఎవరినిఅధికారంతో పనిచేస్తుంది, మరియు ఎలాంటి సిస్టమ్‌లను escalation లేకుండా తాకకూడదో మోడల్ చేయాలి. 1Password CTO నాన్సీ వాంగ్, సామర్థ్యంతో పాటు context మరియు intent ప్రాధాన్యతను నొక్కి చెప్పారు. ఏజెంట్ ఏమి చేయడానికి రూపొందించబడిందో తెలుసుకోవడం సరిపోదు; అది ఏ అధికారాన్ని ఉపయోగిస్తోంది, అది చేరే డేటా ప్రభావాలు ఏమిటో కూడా సంస్థలు అర్థం చేసుకోవాలి.

ఇది పరిచితమైన governance సమస్యే, కానీ కొత్త కవచంలో. కంపెనీలు privileged human users, service accounts, మరియు integration credentials‌ను చాలా కాలంగా నిర్వహిస్తున్నాయి. ఏఐ ఏజెంట్లు ఈ మూడింటి లక్షణాలను కలిపేస్తాయి. అవి సంభాషణాత్మకంగా, తక్కువ ప్రమాదంగా కనిపించవచ్చు, కానీ లోపల అవి సున్నితమైన సిస్టమ్‌లు, అంతర్గత knowledge bases, procurement tools, లేదా customer records‌కు కనెక్ట్ అయి ఉండవచ్చు. అందువల్ల least-privilege design, audit trails, మరియు approval workflows మరింత ముఖ్యమవుతాయి, తక్కువ కాదు.

పాత సాఫ్ట్‌వేర్ ప్లేబుక్ ఎందుకు ఒత్తిడిలో ఉంది

చర్చలోని ముఖ్యమైన ఆలోచనలలో ఒకటి, conventional development assumptions agentic softwareకు సరిగా సరిపోవు అన్నదే. deterministic systemsలో, టీమ్‌లు విఫలమయ్యే మార్గాలను ముందుగానే అర్థం చేసుకోగలవు, ఎందుకంటే logic chain intentionally నిర్మించబడుతుంది. Agentic systems మరింత open-ended behavior‌ను తీసుకొస్తాయి. డెవలపర్ లక్ష్యాన్ని, toolset‌ను నిర్వచించవచ్చు, కానీ వ్యవస్థ మధ్యలో ఏ దశను ఎంచుకుంటుందో అన్నీ కాదు. దాంతో system నియంత్రణలో లేదు అనే అర్థం కాదు. నియంత్రణను వేరే విధంగా డిజైన్ చేయాల్సి ఉంటుంది.

ఎంటర్‌ప్రైజ్ కొనుగోలుదారుల కోసం, ఇది కొత్త checklist‌కు దారితీస్తుంది. డిప్లాయ్‌మెంట్‌కు ముందు role boundaries, escalation thresholds, logging requirements, మరియు human review points‌ను నిర్వచించాలి. డిప్లాయ్‌మెంట్ సమయంలో, అసాధారణ tool use, అధిక retries, మరియు సాధారణ patternల వెలుపల సమాచారాన్ని పొందడానికి చేసే ప్రయత్నాలను పట్టుకునే monitoring అవసరం. డిప్లాయ్‌మెంట్ తర్వాత, ఒక ప్రాథమిక operational ప్రశ్నకు governance సమాధానం ఇవ్వాలి: ఏజెంట్ ఖరీదైన లేదా హానికరమైన నిర్ణయం తీసుకుంటే, సంఘటనకు బాధ్యత ఎవరిది?

చాలా pilots productivity gains‌గా ప్రదర్శించబడుతుండడం వల్ల ప్రారంభ ప్రయోగంలో ఆ accountability ప్రశ్న సులభంగా మర్చిపోతాం. కానీ ఏజెంట్లు స్వతంత్రంగా పనిచేయడానికి అనుమతిస్తే productivity కథ మారుతుంది. అప్పుడు అవి కేవలం software features కాదు, వ్యాపారంలో పనిచేసే operational actors‌గా మారతాయి.

తదుపరి స్వీకరణ దశ నియంత్రణ గురించే ఉంటుంది

Snowflake Summit చర్చకు ఉన్న ప్రాముఖ్యత, నిపుణులు జాగ్రత్తగా ఉండమని చెబుతున్నారు అన్నదే కాదు. చర్చ model qualityని దాటి enterprise control architecture వైపు వెళ్లిందన్నదే అసలు విషయం. కంపెనీలు ఏజెంట్లను real workflows‌లో పరీక్షించడానికి మరింత సిద్ధంగా కనిపిస్తున్నాయి, కానీ ఆ ఏజెంట్ల చుట్టూ ఉన్న guardrails ఇంకా అసమానంగా ఉన్నాయి. దీని వల్ల technical capability మరియు organizational readiness మధ్య గ్యాప్ ఏర్పడుతుంది.

వేగంగా కదిలే సంస్థలకు, ముందుగా access పెంచి, తర్వాత policy రాయాలనే ప్రలోభం ఉంటుంది. ఈ చర్చలోని హెచ్చరికలు దానికి విరుద్ధంగా సూచిస్తున్నాయి. ఒక ఏజెంట్ business systems‌ను తాకగలిగితే, దానికి కచ్చితంగా పరిమిత remit, స్పష్టమైన authority chain, మరియు నిరంతర పర్యవేక్షణ ఉండాలి. లేనిపక్షంలో, దాన్ని ఉపయోగకరంగా చేసే autonomyనే, దాన్ని expensive, noncompliant, లేదా unsafe‌గా మార్చగలదు.

ఆ అర్థంలో, intern metaphor నిలిచిపోవచ్చు, ఎందుకంటే అది marketing language కంటే operational realityని బాగా పట్టిస్తుంది. ఏఐ ఏజెంట్లు సామర్థ్యవంతంగా, వేగంగా, మరియు మరింత స్వతంత్రంగా మారవచ్చు. కానీ structure, context, మరియు supervision లేకుండా, వారిని ఇంకా తాళాలు ఇచ్చి ఒంటరిగా వదిలే స్థాయికి తీసుకెళ్లలేం.

ఈ వ్యాసం ZDNET నివేదికపై ఆధారపడింది. మూల వ్యాసాన్ని చదవండి.