Cloudflare యొక్క Clef ఏజెంట్ నిర్ణయ పొరను లక్ష్యంగా చేసుకుంది
Cloudflare, AI ఏజెంట్ల కోసం నిర్మించిన జంట నిర్ణయ నమూనాలైన Clef మరియు Clef-flash లను విడుదల చేసింది. ఇవి నేరుగా TypeSafe AI యొక్క Jev ను లక్ష్యంగా చేసుకున్నాయి. కంపెనీ ప్రధాన ప్రతిపాదన వేగం. పొడవైన సహజ భాషా ప్రతిస్పందనను ఉత్పత్తి చేయడానికి బదులుగా, Clef సంభావ్యతలతో కూడిన చిన్న వర్గీకరణను తిరిగి ఇస్తుంది. ఆ సంభావ్యతలు డౌన్‌స్ట్రీమ్ కోడ్‌కు నిర్దిష్టంగా పనిచేయడానికి ఏదో ఇస్తాయి — అది సపోర్ట్ టికెట్‌ను రూట్ చేయడం, ఎస్కలేషన్‌ను ప్రేరేపించడం, లేదా కేసును మానవ ఆపరేటర్‌కు అప్పగించడం కావచ్చు.
Cloudflare యొక్క ఫ్రేమింగ్ స్పష్టంగా ఉంది: ఈ రకమైన నమూనాతో, "ఏజెంటిక్ నిర్ణయాల కోసం మానవుడు ఇకపై తప్పనిసరిగా లూప్‌లో ఉండాల్సిన అవసరం లేదు." దాని వివరణలో, ఏజెంట్లు ప్రోగ్రామాటిక్‌గా సందర్భాన్ని సేకరించగలరు, నిర్ణయాలు తీసుకోగలరు మరియు పనులపై చర్య తీసుకోగలరు, అయితే పరిస్థితి అవసరమైనప్పుడు వ్యక్తికి అప్పగించవచ్చు. ఇది స్వయంప్రతిపత్తి గురించి ఒక ముఖ్యమైన వాదన, మరియు ఇది Cloudflare ను ఈ వర్గంలో ముందంజలో నిలిచిన నమూనాతో పోటీలో నిలుపుతుంది.
నిర్ణయ నమూనా వాస్తవానికి ఏమి చేస్తుంది
"నిర్ణయ నమూనా" అనే పదం సాధారణ-ఉద్దేశ్య భాషా నమూనాలకు మరియు సాంప్రదాయ వర్గీకరణకర్తలకు మధ్య ఉండే వ్యవస్థను వివరిస్తుంది. ఇది వ్యాసాలు రాయదు లేదా సంభాషణలు చేయదు. బదులుగా, ఇది ఇన్‌పుట్ గురించి ముందుగా నిర్వచించిన ప్రశ్నల సమూహానికి సమాధానం ఇస్తుంది మరియు ప్రతి సాధ్యమైన సమాధానానికి సంభావ్యతను తిరిగి ఇస్తుంది.
Cloudflare నుండి ఒక ఆచరణాత్మక ఉదాహరణ కస్టమర్ సపోర్ట్ సందేశాన్ని కలిగి ఉంటుంది. అలాంటి సందేశం ఇచ్చినప్పుడు, Clef అది ఎంత అత్యవసరమో అంచనా వేయగలదు మరియు ఏ బృందం దానిని నిర్వహించాలో గుర్తించగలదు. డౌన్‌స్ట్రీమ్ వ్యవస్థ ఆ సమాధానాలను చదివి చర్య తీసుకుంటుంది: టికెట్‌ను సరైన క్యూకు రూట్ చేయడం, దానిని ఎస్కలేట్ చేయడం, లేదా దానిని మానవుడికి అప్పగించడం. నమూనా స్వయంగా ప్రతిస్పందనను రచించాల్సిన అవసరం లేదు.
ఈ పేరు సంగీతం నుండి వచ్చింది, అక్కడ క్లెఫ్ స్టాఫ్ లైన్లకు పిచ్‌లను కేటాయిస్తుంది. నిర్ణయ నమూనా తదుపరి చర్యలకు ఫ్రేమ్‌వర్క్‌ను సెట్ చేస్తుందని సూచించడానికి Cloudflare ఈ ఉపమానాన్ని ఉపయోగిస్తుంది. Jev తో ధ్వని పోలిక బహుశా యాదృచ్ఛికం కాదు.
వేగం ప్రధాన సంఖ్య
Cloudflare తన భేదాత్మక అంశంగా లేటెన్సీపై భారీగా ఆధారపడుతోంది. 43 బెంచ్‌మార్క్‌లలో, Clef మరియు చిన్న Clef-flash అన్ని సంబంధిత పోటీ నిర్ణయ నమూనాల కంటే వేగవంతమని కంపెనీ చెబుతోంది. నివేదించిన మధ్యస్థ ప్రతిస్పందన సమయాలు Clef-flash కోసం సుమారు 39 మిల్లీసెకన్లు మరియు Clef కోసం సుమారు 209 మిల్లీసెకన్లు. పోలికలో, Cloudflare Jev ను 524 మిల్లీసెకన్లకు కొద్దిగా ఎక్కువగా ఉందని చెబుతోంది.
- Clef-flash: సుమారు 39 మిల్లీసెకన్ల మధ్యస్థ లేటెన్సీ.
- Clef: సుమారు 209 మిల్లీసెకన్ల మధ్యస్థ లేటెన్సీ.
- Jev: Cloudflare పోలిక ప్రకారం, 524 మిల్లీసెకన్లకు కొద్దిగా ఎక్కువ.
ఇవి స్వయం-నివేదిత గణాంకాలు, మరియు Cloudflare వాటిని అనుకూలంగా ప్రదర్శించడంలో స్పష్టమైన ఆసక్తి కలిగి ఉంది. అయినప్పటికీ, అది వివరించే అంతరం వరుసగా అనేక చిన్న నిర్ణయాలు జరిగే వ్యవస్థలలో పట్టింపు ఉండేంత పెద్దది. ప్రతిస్పందన సమయంలో పదిరెట్ల వ్యత్యాసం ఒక ఏజెంట్ ప్రతిస్పందించేలా లేదా నిదానంగా అనిపించేలా నిర్ణయించగలదు, మరియు వినియోగదారు ఆలస్యాన్ని గమనించే ముందు పైప్‌లైన్ ఎన్ని దశలను తీసుకోగలదో దానిని రూపొందించగలదు.
రెండు నమూనాలు నేరుగా తన స్వంత మౌలిక సదుపాయంపై నడుస్తాయని కూడా Cloudflare గమనించింది. ఇది వాటికి ఎడ్జ్ డేటా సెంటర్లకు సామీప్యం నుండి ప్రయోజనం పొందేలా చేస్తుందని కంపెనీ చెబుతోంది, ఇది నిర్ణయం తిరిగి వచ్చే ముందు డేటా ప్రయాణించే దూరాన్ని తగ్గించగలదు.
Qwen పై నిర్మించబడింది, Jev తో అనుకూలం
Cloudflare ప్రకారం, Clef మరియు Clef-flash రెండూ Qwen పై నిర్మించబడ్డాయి, మరియు రెండూ టెక్స్ట్ మరియు చిత్రాలను మద్దతు ఇస్తాయి. ఆ మల్టీమోడల్ సామర్థ్యం స్క్రీన్‌షాట్‌లు, స్కాన్ చేసిన పత్రాలు, లేదా టెక్స్ట్‌తో పాటు ఇతర దృశ్య ఇన్‌పుట్‌లను అర్థం చేసుకోవాల్సిన ఏజెంట్ వర్క్‌ఫ్లోలకు ముఖ్యం.
స్వీకరణకు అంతే ముఖ్యమైనది, Cloudflare API ను Jev తో పూర్తిగా అనుకూలంగా ఉంచింది. ఇప్పటికే TypeSafe AI యొక్క నమూనాను ఉపయోగిస్తున్న కస్టమర్లు తమ ఇంటిగ్రేషన్‌లను తిరిగి రాయకుండా మారవచ్చు. ఆ అనుకూలత ఒక క్లాసిక్ పోటీ ఎత్తుగడ: ఇది ప్రత్యామ్నాయాన్ని ప్రయత్నించే ఖర్చును తగ్గిస్తుంది మరియు వేగ పోలికను నిర్ణయంలో ప్రధాన వేరియబుల్‌గా చేస్తుంది.
భాషా నమూనాలు మరియు వర్గీకరణకర్తల మధ్య అంతరాన్ని పూరించడం
Cloudflare, Clef ను నింపడం ఇబ్బందికరంగా ఉన్న ఒక ప్రత్యేక ప్రదేశంలో ఉంచుతుంది. పెద్ద భాషా నమూనాలు ఒక సమస్య గురించి ఆలోచించగలవు మరియు సాధనాలను పిలవగలవు, కానీ వాటి అవుట్‌పుట్‌లు ప్రతి రన్‌లో మారుతూ ఉంటాయి, మరియు అవి నెమ్మదిగా ఉండవచ్చు. సాంప్రదాయ వర్గీకరణకర్తలు వేగవంతమైనవి, కానీ కొత్త వర్గం ప్రవేశపెట్టినప్పుడల్లా అవి సాధారణంగా పునఃశిక్షణ అవసరం. ఒక నిర్ణయ నమూనా వర్గీకరణకర్త యొక్క వేగం మరియు అంచనాను తీసుకోవడం లక్ష్యంగా పెట్టుకుంటుంది, అదే సమయంలో ఏజెంటిక్ వ్యవస్థలకు అవసరమైన సౌలభ్యాన్ని కలిగి ఉంటుంది.
ఈ సాంకేతికత ఎక్కడ సరిపోతుందో ఆలోచించేటప్పుడు ఆ వ్యత్యాసం ఉపయోగకరం:
- భాషా నమూనాలు సాధారణ-ఉద్దేశ్య తార్కికులు, వాటి అవుట్‌పుట్‌లు సౌలభ్యంగా ఉంటాయి కానీ మారతాయి మరియు సాపేక్షంగా నెమ్మదిగా ఉంటాయి.
- సాంప్రదాయ వర్గీకరణకర్తలు వేగవంతమైనవి మరియు స్థిరమైనవి కానీ దృఢమైనవి, ప్రతి కొత్త వర్గానికి పునఃశిక్షణ అవసరం.
- నిర్ణయ నమూనాలు ముందుగా నిర్వచించిన ఎంపికలపై సంభావ్యతలను తిరిగి ఇస్తాయి, వేగం, నిర్మాణం మరియు ఏజెంట్ పైప్‌లైన్‌లకు తగినంత సౌలభ్యం కోసం లక్ష్యంగా పెట్టుకుంటాయి.
ఏజెంట్లను నిర్మించే బృందాలకు, ఆకర్షణ స్పష్టంగా ఉంది. ఎస్కలేట్ చేయాలా, రూట్ చేయాలా, ట్యాగ్ చేయాలా, లేదా పాజ్ చేయాలా అని పదేపదే నిర్ణయించాల్సిన ఏజెంట్‌కు ప్రతిసారీ పూర్తి జనరేటివ్ ప్రతిస్పందన అవసరం లేదు. దానిపై చర్య తీసుకోవడానికి నమ్మగలిగే వేగవంతమైన సంకేతం అవసరం.
లూప్‌లో మానవులు, లేదా బెంచ్‌పై
Cloudflare యొక్క సందేశంలో అత్యంత రెచ్చగొట్టే భాగం ఏమిటంటే, ప్రతి ఏజెంటిక్ నిర్ణయానికి మానవ పర్యవేక్షణ ఇకపై తప్పనిసరి దశ కాదని సూచన. ఏజెంట్లు సందర్భాన్ని సేకరించి, నిర్ణయించి, ప్రోగ్రామాటిక్‌గా చర్య తీసుకునే సెటప్‌ను Cloudflare వివరిస్తుంది, అవసరమైనప్పుడు మానవుడికి అప్పగించే ఎంపికను నిలుపుకుంటుంది.
ఆ పదబంధం, "అవసరమైనప్పుడు," చాలా పని చేస్తోంది. సంభావ్యతలను తిరిగి ఇచ్చే నిర్ణయ నమూనా స్వయంచాలక చర్యకు మద్దతు ఇవ్వగలదు, కానీ వ్యక్తి లేకుండా చర్య తీసుకోవడానికి థ్రెషోల్డ్ అనేది వ్యవస్థను నిర్మించే వారు తీసుకునే డిజైన్ ఎంపిక. అధిక-విశ్వాస రూటింగ్ నిర్ణయాన్ని ఆటోమేట్ చేయడం సురక్షితం కావచ్చు; నిరాశ చెందిన కస్టమర్, భద్రతా సమస్య, లేదా ఆర్థిక నిబద్ధత ఉన్న ఎస్కలేషన్ నమూనా విశ్వాసంగా ఉన్నప్పటికీ సమీక్ష అవసరం కావచ్చు. ఈ సాంకేతికత వేగవంతమైన ఆటోమేషన్‌ను సాధ్యం చేస్తుంది, కానీ అది స్వయంగా గీత ఎక్కడ గీయాలో నిర్ణయించదు.
సంభావ్యత అవుట్‌పుట్‌లు కూడా హామీలు కావు. ఒక వర్గీకరణ తప్పు కావచ్చు, మరియు వేగవంతమైన తప్పు సమాధానం నెమ్మదిగా ఉన్న దానికంటే వేగంగా పైప్‌లైన్ ద్వారా వ్యాపించగలదు. అందువల్ల నిర్ణయ నమూనా విలువ లేటెన్సీపై మాత్రమే కాకుండా కాలిబ్రేషన్‌పై మరియు చుట్టుపక్కల వ్యవస్థ అనిశ్చితిని ఎంత సున్నితంగా నిర్వహిస్తుందనే దానిపై ఆధారపడి ఉంటుంది.
Clef విస్తరిస్తున్నప్పుడు ఏమి గమనించాలి
Cloudflare యొక్క వాదనలు నిర్దిష్టమైనవి మరియు కొలవగలిగేవి, ఇది వాటిని పరీక్షించదగినవిగా చేస్తుంది. స్వతంత్ర బెంచ్‌మార్క్‌లు ముఖ్యమవుతాయి, ముఖ్యంగా Cloudflare ఉదహరించిన 43 బెంచ్‌మార్క్‌లపై మరియు విక్రేత పరీక్ష సూట్‌లకు భిన్నంగా ఉండే వాస్తవ-ప్రపంచ వర్క్‌లోడ్‌లపై. Jev పోలిక కూడా పరిశీలించబడుతుంది, ఎందుకంటే TypeSafe AI యొక్క నమూనా Clef స్పష్టంగా ఆకర్షించడానికి ప్రయత్నిస్తున్న ప్రస్తుత నమూనా.
Clef ఏజెంట్ బిల్డర్లకు డిఫాల్ట్ ఎంపిక అవుతుందో లేదో అనేక ప్రశ్నలు రూపొందిస్తాయి:
- స్వతంత్ర పరీక్షలు లేటెన్సీ ప్రయోజనాన్ని పునరుత్పత్తి చేస్తాయా, ముఖ్యంగా ఉత్పత్తి లోడ్ కింద?
- నమూనాలు ఎడ్జ్ కేసులు, అస్పష్ట ఇన్‌పుట్‌లు, మరియు ఊహించని వర్గాలను ఎంత బాగా నిర్వహిస్తాయి?
- ఎడ్జ్ సామీప్యం ప్రపంచవ్యాప్తంగా పంపిణీ చేయబడిన అనువర్తనాలకు అర్థవంతమైన లాభాలుగా మారుతుందా?
- అనుకూల API ఇచ్చినప్పుడు, బృందాలు ఇప్పటికే ఉన్న Jev ఇంటిగ్రేషన్‌లను ఎంత సులభంగా తరలించగలవు?
Cloudflare, Clef ను ప్రతి నిర్ణయానికి మానవుడు లూప్‌లో అవసరం లేని క్షణంగా ఫ్రేమ్ చేసింది. మరింత ఖచ్చితమైన పఠనం ఏమిటంటే, అది ఆ ఎంపికను వ్యాయామం చేయడానికి చౌకగా మరియు వేగంగా చేస్తుంది. స్వయంప్రతిపత్తి విస్తరిస్తుందో లేదో నమూనాపై కంటే బృందాలు దాని చుట్టూ నిర్మించే గార్డ్‌రైల్స్‌పై ఎక్కువ ఆధారపడి ఉంటుంది.
ఈ వ్యాసం The Decoder యొక్క రిపోర్టింగ్ ఆధారంగా రూపొందించబడింది. అసలు వ్యాసాన్ని చదవండి.
Originally published on the-decoder.com