लहान reasoning models साठी Thinking Machines चा युक्तिवाद

माजी OpenAI CTO Mira Murati यांनी स्थापन केलेल्या AI lab Thinking Machines ने Inkling Small जाहीर केले आहे, जे एक open-weights reasoning model आहे आणि कंपनीच्या आधीच्या Inkling model पेक्षा खूपच लहान active footprint वापरत capability वर स्पर्धा करण्यासाठी डिझाइन केलेले आहे. हे launch AI market मधील ओळखीचे पण अधिकाधिक महत्त्वाचे होत चाललेले वळण दाखवते: efficiency आता केवळ technical footnote नसून स्वतःमध्ये एक product feature बनत आहे.

दिलेल्या source text नुसार, Artificial Analysis आपल्या Intelligence Index मध्ये Inkling Small ला 40 score देते, जो Inkling च्या 41 पेक्षा फक्त एका point ने कमी आहे. ही gap इतकी अरुंद आहे की headline स्पष्ट होते. नवीन model ला एक लहान system म्हणून मांडले गेले आहे, जे मोठ्या model च्या एकूण स्थानाच्या जवळ जाते आणि काही coding तसेच reasoning benchmarks मध्ये त्याला मागे टाकते.

Model चे reported size profile या pitch च्या केंद्रस्थानी आहे. Inkling Small मध्ये एकूण 276 billion parameters आहेत, त्यापैकी 12 billion active आहेत, असे source सांगते; हे original Inkling च्या आकाराच्या तृतीयांशापेक्षाही कमी आहे. Artificial Analysis असेही म्हणते की समान किंवा त्याहून लहान आकाराचा कोणताही open model आपल्या index मध्ये यापेक्षा जास्त score करत नाही.

Benchmark निकाल लक्षित सुधारणा दर्शवतात

Benchmark ची कहाणी केवळ इतकी नाही की Inkling Small एकूणात आपल्या predecessor इतकाच मजबूत आहे. source text म्हणते की काही coding आणि reasoning tests मध्ये हे मोठ्या Inkling ला मागे टाकते. उद्धृत दोन उदाहरणे म्हणजे Humanity’s Last Exam, जिथे Inkling Small 32% score करतो, तर Inkling 30%; आणि GPQA Diamond, जिथे तो 89% पर्यंत पोहोचतो, Inkling च्या 87% च्या तुलनेत.

ही संख्या महत्त्वाची आहे, कारण ती सूचित करते की model हा फक्त compressed version नाही जो बहुतेक capability टिकवून ठेवतो. किमान काही tasks मध्ये, तो मोठ्या system ला मागे टाकू शकतो असे दिसते. ज्या market मध्ये मोठे models जास्त performance मिळवण्यासाठी default मार्ग मानले गेले आहेत, तिथे असा परिणाम उल्लेखनीय आहे.

त्याच वेळी, source Inkling Small ला universal upgrade म्हणून मांडत नाही. report नुसार, agent-based tasks आणि factual knowledge मध्ये तो original Inkling पेक्षा मागे आहे. ही मर्यादा महत्त्वाची आहे, कारण ती launch ला hype ऐवजी tradeoffs मध्ये ठेवते. अधिक मजबूत autonomous task execution किंवा व्यापक recall शोधणाऱ्या users साठी, efficiency वर आकर्षक असला तरी मोठा model अजूनही अधिक योग्य ठरू शकतो.

Efficiency हा अधिक खोल स्पर्धात्मक संदेश आहे

अधिक मजबूत फरक कदाचित token efficiency असू शकतो. source नुसार, Inkling Small प्रति task सरासरी 24,000 output tokens वापरतो, तर Deepseek V4 Flash 45,000 आणि GPT-5.4 mini 78,000 वापरतात. वरवर पाहता, हे असे model सूचित करते जे काही competing systems पेक्षा कमी generated output सह लक्षणीय reasoning work करू शकते.

अशा प्रकारची efficiency economics आणि product design दोन्हीसाठी महत्त्वाची आहे. कमी output token usage inference cost आणि latency कमी करू शकते, तसेच ज्या वातावरणात throughput किंवा budget raw benchmark strength इतकेच महत्त्वाचे आहे, तिथे deployment सुलभ करू शकते. AI features products मध्ये आणणाऱ्या companies साठी, कमी output tokens वापरून अधिक काम करणारे model आकर्षक ठरू शकते, जरी ते प्रत्येक leaderboard वर आघाडीवर नसेल.

म्हणूनच हे launch AI vendors progress कसा मांडतात यामध्ये व्यापक बदल दाखवते. फक्त absolute frontier performance वर भर देण्याऐवजी, developers quality-per-token equation वर अधिक स्पर्धा करत आहेत. दिलेल्या figures नुसार, Inkling Small आपल्या मोठ्या sibling च्या एकूण standing जवळ राहून आणि efficiency profile सुधारून त्या pattern मध्ये बसतो.

Open weights आणि multimodal input आकर्षण वाढवतात

Thinking Machines model ची practical reach वाढवण्याचा प्रयत्नही करत आहे. source text नुसार, Inkling Small text, image, आणि speech inputs support करतो आणि 256,000-token context window सह येतो. तो Apache 2.0 license अंतर्गत release करण्यात आला आहे, आणि weights Hugging Face वर host केले आहेत.

हे तपशील महत्त्वाचे आहेत, कारण ते model कोण वापरू शकतो आणि तो किती वेगाने adapt करता येईल यावर परिणाम करतात. Apache 2.0 release experimentation आणि commercial use यातील अडथळा कमी करते. Multimodal input support system ला text-only reasoning पेक्षा व्यापक applications साठी उपयुक्त बनवते. आणि long context window मोठी documents, लांब conversations, किंवा विस्तृत working memory आवश्यक असलेल्या tasks साठी त्याचे आकर्षण वाढवते.

source असेही सांगते की users Tinker Playground द्वारे browser मध्ये model fine-tune करू शकतात. हे feature Thinking Machines च्या positioning शी सुसंगत आहे, ज्यामध्ये models वापरकर्त्यांच्या स्वतःच्या data सह customization साठी आधार म्हणून पाहिले जातात. दुसऱ्या शब्दांत, कंपनी फक्त base model ची गोष्ट विकत नाही. ती असा workflow विकते ज्यात users हा base model अधिक विशिष्ट उद्दिष्टांसाठी जुळवून घेतात.

सध्याच्या model market मध्ये ही release का महत्त्वाची आहे

AI developers वर practical value दाखवण्याचा दबाव असलेल्या काळात Inkling Small येतो; केवळ scale नाही. शिवाय, सतत मोठी होणारी models train करणे महाग आहे, आणि ती deploy करणाऱ्या product teams ला capability सोबत cost, speed, flexibility, licensing यांचाही विचार करावा लागतो. त्यामुळे key tasks वर चांगली कामगिरी करणाऱ्या आणि चालवायला अधिक efficient असलेल्या models साठी जागा तयार होते.

source Inkling Small ला अशाच प्रकारच्या offering म्हणून मांडते: त्याच्या size साठी असामान्यपणे चांगले काम करणारा एक लहान open-weights reasoning model. हे positioning व्यापक वापरात टिकले, तर model development अधिक शिस्तबद्ध टप्प्यात प्रवेश करत आहे, जिथे optimization आणि deployment value raw expansion इतकेच महत्त्वाचे आहेत, असा युक्तिवाद मजबूत होऊ शकतो.

यामुळे fine-tune करून custom workflows मध्ये embed करता येणाऱ्या open models च्या वाढत्या market segment वरही लक्ष केंद्रित होते. Proprietary frontier systems अनेक headline comparisons मध्ये अजूनही वर्चस्व ठेवतात, पण open-weight releases धोरणात्मकदृष्ट्या महत्त्वाचे आहेत, कारण ते संस्थांना model कसा adapt, host, आणि govern करायचा यावर अधिक थेट नियंत्रण देतात.

कमालवादी नाही, तर मोजलेले पाऊल

Inkling Small बाबत सर्वात रोचक गोष्ट कदाचित ते काय दावा करत नाही यामध्ये आहे. दिलेल्या text च्या आधारावर, Thinking Machines त्याला प्रत्येक category मध्ये single best model म्हणून सादर करत नाही. त्याऐवजी release एक narrower, अधिक pragmatic प्रस्ताव मांडते: त्याच्या size जवळचे top-tier performance, मोठ्या sibling विरुद्ध काही benchmark wins, multimodal capability, long context, आणि लक्षणीय कमी output-token profile.

म्हणूनच हे launch spectacle पेक्षा engineering priorities बद्दल आहे. चांगले reasoning करणारे, open राहणारे, आणि token burn कमी करणारे छोटे active models AI deployment परिपक्व होत गेल्यावर आकर्षक राहतील. Inkling Small त्या भविष्यातील थेट bet वाटतो.

तो व्यापकपणे स्वीकारला जाणारा foundation model बनेल का, हे येथे दिलेल्या summary figures च्या पलीकडील real-world testing वर अवलंबून असेल. पण उपलब्ध माहितीनुसार strategic message आधीच स्पष्ट आहे. AI मध्ये efficiency हा आता compromise category राहिलेला नाही, हे सिद्ध करण्याचा Thinking Machines चा प्रयत्न आहे. तो स्वतःमध्ये एक गंभीर competitive lane बनत आहे.

हा लेख The Decoder च्या रिपोर्टिंगवर आधारित आहे. मूळ लेख वाचा.

Originally published on the-decoder.com