Goodfire కొత్త వివరణాత్మకత సాధనం AI శిక్షణను ఇంజినీరింగ్‌గా మార్చాలని లక్ష్యంగా పెట్టుకుంది

బ్లాక్ బాక్స్‌ను ఇంకాస్త తెరవడం

ఆధునిక AIలో ఉన్న ప్రధాన నిరాశలలో ఒకటి ఏమిటంటే, ఒక మోడల్ ఏమి అవుట్‌పుట్ ఇస్తుందో డెవలపర్లు చూడగలిగినా, అది ఆ ఫలితాన్ని ఎందుకు ఇచ్చిందో నిజంగా అర్థం చేసుకోలేకపోవడం. పెద్ద భాషా మోడళ్ళు శక్తివంతమైనవే కాక, అస్తవ్యస్తంగా, అపారదర్శకంగా, మరియు ఖచ్చితంగా నియంత్రించడానికి కష్టంగా ఉండవచ్చు. అందుకే సాన్ ఫ్రాన్సిస్కో స్టార్టప్ Goodfire రూపొందించిన కొత్త సాధనం ప్రత్యేకంగా కనిపిస్తోంది. MIT Technology Review యొక్క రోజువారీ Download న్యూస్‌లెటర్‌లో సారాంశంగా చెప్పినట్లుగా, కంపెనీ Silico అనే వ్యవస్థను విడుదల చేసింది, ఇది పరిశోధకులకు AI మోడల్ లోపల చూడటానికి మరియు శిక్షణ సమయంలో పరామితులను సవరించడానికి అవకాశం ఇస్తుంది.

ఆ వివరణ వెనుక ఉన్న ఆశయం గణనీయమైనది. Silicoను ఒక మోడల్ చుట్టూ ఉన్న మరో అప్లికేషన్ లేయర్‌గా కాకుండా, mechanistic interpretability కోసం ఒక సాధనంగా ప్రతిపాదిస్తున్నారు: ఒక వ్యవస్థలోని న్యూరాన్లు మరియు మార్గాలను మ్యాప్ చేసి, అవాంఛిత ప్రవర్తనలను తగ్గించడానికి లేదా అవుట్‌పుట్‌లను మరింత ఉద్దేశపూర్వకంగా మలచడానికి వాటిని సవరించే మార్గం. మూల వాక్యం ప్రకారం, AI మోడళ్లను నిర్మించడం “మాయాజాలంలా కాక, శాస్త్రంలా” ఉండేలా చేయడమే Goodfire లక్ష్యం.

Mechanistic interpretability ఎందుకు ముఖ్యమైంది

ఈ పదబంధం ప్రత్యేకంగా అనిపించొచ్చు, కానీ ఇది పరిష్కరించే సమస్య విస్తృతమైనది. అనేక AI వ్యవస్థలు ఆకట్టుకునే సామర్థ్యాలను ఇస్తూ కూడా, అంతర్గత తర్కం గురించి సమానంగా స్పష్టమైన వివరణను ఇవ్వని పద్ధతులతో శిక్షణ పొందుతాయి. డెవలపర్లు ఫలితాలను benchmark చేయవచ్చు, outputs పై red-team చేయవచ్చు, ప్రవర్తనను fine-tune చేయవచ్చు; అయినా నిర్దిష్ట ప్రతిస్పందనలకు కారణమవుతున్న ఏ అంతర్గత లక్షణాలు అనేది సూక్ష్మంగా తెలుసుకోలేరు.

Mechanistic interpretability ఆ పరిస్థితిని మార్చాలనుకుంటుంది: నేర్చుకున్న ప్రవర్తనలకు అనుసంధానమైన circuits, pathways, internal activations ను గుర్తించడం ద్వారా. అది విజయవంతమైతే, model development మరింత చదవదగినదిగా మారుతుంది. AI వ్యవస్థను ప్రాంప్టులు మరియు training తర్వాత సవరణలతో మాత్రమే తలుచుకునే మూసివేసిన వస్తువుగా చూడకుండా, పరిశోధకులు యంత్రాంగాన్ని స్వయంగా పరిశీలించి మార్చడం ప్రారంభించగలరు.

అందుకే Goodfire దావా చిన్న మూల సారాంశం నుంచే వ్యూహాత్మకంగా ముఖ్యమైనది. ఒక సాధనం మోడల్ లోపల “knobs and dials” నిజంగా చూపగలిగితే, భద్రత, alignment, debugging, మరియు ఉత్పత్తి నియంత్రణ గురించి డెవలపర్లు ఆలోచించే విధానం మారవచ్చు. విషయం మోడల్ “ఏం ఆలోచిస్తోంది” అనే కుతూహలం మాత్రమే కాదు. ఇంజినీర్లు తగినంత నిర్దిష్టతతో జోక్యం చేసుకుని వ్యవస్థలను మరింత నమ్మదగినవిగా చేయగలరా అన్నదే అసలు ప్రశ్న.

ప్రాంప్టింగ్ నుండి డీబగ్గింగ్ వైపు

ఈ రోజుల్లో, అధునాతన మోడళ్ల చుట్టూ చేసే అనేక ఆపరేషన్ పనులు ఉపరితల స్థాయిలోనే జరుగుతున్నాయి. బృందాలు మోడళ్లను ప్రాంప్ట్ చేస్తాయి, fine-tune చేస్తాయి, outputs‌ను ఫిల్టర్ చేస్తాయి, సమాధానాలను ర్యాంక్ చేస్తాయి, మరియు deployment చుట్టూ పాలసీ లేయర్లను జోడిస్తాయి. ఈ పద్ధతులు ఫలప్రదంగా ఉండొచ్చు, కానీ లోతైన పరిశీలనకన్నా ప్రవర్తన నిర్వహణలా కనిపిస్తాయి. ఒక వ్యవస్థ పదే పదే విఫలమైతే, డెవలపర్లు దాన్ని గణాంకపరంగా ఎలా తగ్గించాలో తెలుసుకుని ఉండవచ్చు, కానీ ఆ విఫలతను సృష్టించిన అంతర్గత నిర్మాణం ఏమిటో అర్థం చేసుకోకపోవచ్చు.

Silico AI పనిని సాంప్రదాయ సాఫ్ట్‌వేర్ ఇంజినీరింగ్‌కు దగ్గర చేయాలనే ఉద్దేశంతో ఉన్నట్లు Goodfire framing సూచిస్తోంది. సాధారణ సాఫ్ట్‌వేర్‌లో bugs ను functions, variables, execution paths ద్వారా ట్రేస్ చేయవచ్చు. పెద్ద మోడళ్లలో ఆ సంబంధాలు చాలా మసకబారినవిగా ఉంటాయి. interpretability tools అర్థవంతమైన అంతర్గత మార్గాలను మ్యాప్ చేసి, పరిశోధకులు training సమయంలో వాటిని సవరించడానికి అనుమతిస్తే, కొన్ని రకాల మోడల్ వైఫల్యాలు మరింత నిర్వహించదగినవిగా మారవచ్చు.

దీని అర్థం మోడల్ అభివృద్ధి ఒక్కసారిగా సులభమవుతుందనే కాదు, లేదా పూర్తిగా పారదర్శకమవుతుందనే కాదు. పెద్ద న్యూరల్ వ్యవస్థలు అత్యంత సంక్లిష్టమైనవి. అయినా, partial improvements in inspectability కూడా ముఖ్యమైనవి. డెవలపర్లు అవాంఛిత ప్రవర్తనలు ఎక్కడ నుండి వస్తున్నాయో గుర్తించగలరు, trade-offs ను స్పష్టంగా అర్థం చేసుకోగలరు, మరియు విస్తృత retraining లేదా blunt post-processing మీద మాత్రమే ఆధారపడకుండా లక్ష్యబద్ధమైన సవరణలు చేయగలరు.

నియంత్రణ ఇప్పుడు పోటీ ప్రయోజనంగా మారుతోంది

సమయమూ ముఖ్యమే. AI వ్యవస్థలు ఎక్కువగా నియంత్రిత, అధిక-ప్రమాద, లేదా enterprise-critical రంగాల్లోకి వెళ్తున్నకొద్దీ, కేవలం raw capability సరిపోదు. కొనుగోలుదారులు, విధాననిర్ణేతలు, మరియు అంతర్గత risk teams ఒక మోడల్‌ను అర్థం చేసుకోవచ్చు, నియంత్రించవచ్చు అన్న రుజువును ఎక్కువగా కోరుతున్నారు. అందువల్ల interpretability కి శాస్త్రీయ కోణంతో పాటు వాణిజ్య కోణం కూడా ఉంది.

తమ మోడల్ అంతర్గత ప్రవర్తనలో ఎక్కువ భాగం అర్థమైందని విశ్వసనీయంగా చెప్పగల కంపెనీకి, safety, compliance, మరియు trust సంబంధిత deployment చర్చల్లో ఆధిక్యం లభించవచ్చు. ఇది ముఖ్యంగా మోడళ్లను medicine, finance, infrastructure, లేదా government లో నిర్ణయాలకు మద్దతివ్వమని అడుగుతున్నప్పుడు నిజం. అలాంటి సందర్భాల్లో, unexplained behavior కేవలం అసౌకర్యం కాదు. అది adoption ను పూర్తిగా ఆపేయగలదు.

ఆ నేపథ్యానికే Goodfire సాధనం వచ్చింది. Silico ఇప్పటికీ ప్రధానంగా ఒక research system గానే ఉన్నా, ఇది పెద్ద-స్థాయి AI మీద ఉన్న black-box ప్రతిష్టను దాటి వెళ్లాలనే విస్తృత పోరాటంలో భాగం.

దావా యొక్క పరిమితులు

అదే సమయంలో, interpretability అనేది ఆశయం ప్రాక్టికాలిటీని మించిపోయే రంగం. మూల సారాంశం ప్రకారం Silico పరిశోధకులకు neurons మరియు pathways ను map చేసి training సమయంలో వాటిని సవరించడానికి అవకాశం ఇస్తుంది, కానీ అది technical detail, benchmark results, లేదా scale పై ఆధారాన్ని ఇవ్వలేదు. కాబట్టి జాగ్రత్త అవసరం. ఎంపిక చేసిన ప్రవర్తనలపై అద్భుతమైన అంతర్గత నియంత్రణను చూపించడం ఒక విషయం; అదే నియంత్రణలను పెద్ద, production-grade మోడళ్లకు, సంక్లిష్ట emergent traits తో, సాధారణీకరించడం మరో విషయం.

ఒక భావనాత్మక ప్రమాదమూ ఉంది. మోడల్ అంతర్గతాలపై మెరుగైన దృశ్యత అంటే ఆటోమేటిక్‌గా పూర్తి అవగాహన అన్నమాట కాదు. న్యూరల్ వ్యవస్థల్లో ఇంకా పంపిణీ చేయబడిన representations మరియు సులభమైన వివరణలను ఎదిరించే పరస్పర లక్షణాలు ఉండవచ్చు. Interpretability debugging ను మెరుగుపరచగలదు, కానీ మోడళ్లను పూర్తిగా పారదర్శక యంత్రాలుగా మార్చదు.

అయినా, ఈ హెచ్చరికలు దిశ యొక్క ప్రాముఖ్యతను తగ్గించవు. పరిశ్రమకు వేగవంతమైన training runs మరియు పెద్ద parameter counts కంటే ఎక్కువ అవసరం. అవగాహనను మెరుగుపరిచే సాధనాలు కావాలి. అక్కడ జరిగిన భాగస్వామ్య పురోగతే కూడా పెద్ద ప్రభావాన్ని చూపగలదు.

AI అభివృద్ధి స్టాక్‌లో మార్పు

Goodfire framing నిలబడితే, Silico AI stack లో మరింత ముఖ్యమవుతున్న ఒక పొరలోకి వస్తుంది: applications లేదా foundation models ను భర్తీ చేయడానికి కాకుండా, ఆ మోడళ్లను పరిశీలనీయంగా, steer చేయగలిగేట్టుగా, మరియు పాలనా-యోగ్యంగా చేయడానికి రూపొందించిన వ్యవస్థలు. ఇది ఒక గణనీయమైన దృష్టి మార్పు. ప్రారంభ generative-AI పోటీ scale మరియు output quality ను బహుమతిగా ఇచ్చింది. తదుపరి దశ controllability ను కూడా అంతే గణనీయంగా బహుమతిగా ఇవ్వవచ్చు.

frontier-model అభివృద్ధి మరింత ఖరీదైనదిగా, మరింత రాజకీయంగా బహిర్గతమైనదిగా మారుతున్న కొద్దీ ఇది మరింత సాధ్యంగా కనిపిస్తోంది. training runs భారీ ఖర్చులను అవసరం చేస్తే, outputs నిజజీవిత నిర్ణయాలను ఆకృతీకరించగలిగితే, internal diagnostics విలువ చాలా వేగంగా పెరుగుతుంది. కంపెనీలు మరియు ల్యాబ్స్ ఒక మోడల్ ఏమి చేయగలదో మాత్రమే కాకుండా, దాన్ని ఎంత విశ్వాసంతో సవరించవచ్చో లేదా పరిమితం చేయవచ్చో కూడా తెలుసుకోవాలి.

మాయాజాలం నుంచి క్రమశిక్షణ వైపు

Silico కోసం Goodfire ఇచ్చిన tagline ఆకట్టుకోవడానికి కారణం, అది పరిశ్రమలోని నిజమైన ఉద్రేకాన్ని పట్టుకుంటుంది. AI అభివృద్ధి తరచూ మాయాజాలంలా అనిపించే ఫలితాలను ఇచ్చింది, కానీ పద్ధతులు ఇంకా చేతివృత్తి ఆధారితంగా, అనుభవపూర్వకంగా, మరియు క్రమశిక్షణతో ఆలోచించడానికి కష్టంగా కనిపిస్తాయి. training ను guesswork కంటే engineering కు దగ్గర చేయగల సాధనం ప్రతి safety లేదా reliability సమస్యను పరిష్కరించదు, కానీ ఆ సమస్యలను ఎదుర్కొనే పునాదిని మెరుగుపరుస్తుంది.

అందుకే interpretability మళ్లీ సంభాషణ కేంద్రానికి వస్తోంది. శక్తివంతమైన మోడళ్లు ఇప్పుడు తగినంత సాధారణమయ్యాయి. ఈ రంగానికి ఇంకా లోటుగా ఉన్నది సూక్ష్మ స్థాయి అవగాహన. Silico ఆ లోటును తగ్గించి, AI వ్యవస్థలను మరింత సామర్థ్యవంతంగా మాత్రమే కాకుండా, మరింత తెలుసుకోదగినవిగా మార్చే మరో ప్రయత్నం.

• Silico AI మోడల్ అంతర్గత మార్గాలను పరిశోధకులు చూడటానికి మరియు శిక్షణ సమయంలో సవరించడానికి Goodfire అవకాశం ఇస్తుందని చెబుతోంది.
• ఈ సాధనం surface-level prompting కంటే mechanistic interpretability పై ఆధారపడింది.
• మోడళ్లలోని అవాంఛిత ప్రవర్తనను తగ్గించి, అవి ఎలా పనిచేస్తాయో మరింత నియంత్రణ పొందడమే లక్ష్యం.
• AI అధిక-ప్రమాద, నియంత్రిత పరిసరాల్లోకి వెళ్తున్నకొద్దీ interpretability మరింత ముఖ్యమవుతోంది.

ఈ వ్యాసం MIT Technology Review నివేదికపై ఆధారపడింది. మూల వ్యాసాన్ని చదవండి.