உதவியான சாட்பாட்கள் மனிதர்களைப் போல நடிப்பதில் குறைவாக இருக்கலாம்

மாதிரிகளை பயனுள்ள உதவியாளர்களாக பயிற்றுவிப்பது ஒரு விலையை ஏற்படுத்தலாம்

பெரிய மொழி மாதிரிகள் இப்போது மனித பங்கேற்பாளர்களுக்கான மாற்றாக அதிகமாக பயன்படுத்தப்படுகின்றன. ஆராய்ச்சியாளர்கள் அவற்றை பொதுமக்களின் பதில்கள், கல்வி நடத்தை, மற்றும் மருத்துவ தொடர்பு ஆகியவற்றின் பிரதிநிதிகளாக சோதிக்கின்றனர். ஆனால் ஒரு புதிய பெரிய ஆய்வு, மாதிரிகளை அதிக பயனுள்ள உதவியாளர்களாக மாற்றும் பயிற்சியே, அவற்றை மனித நடத்தை சிமுலேஷன்களாக குறைவாகத் துல்லியமாக்கக்கூடும் என்று தெரிவிக்கிறது.

வழங்கப்பட்ட அறிக்கையில் விவரிக்கப்பட்ட இந்தப் பணி Psych-201 என்ற தரவுத்தொகுப்பை அடிப்படையாகக் கொண்டது. இது சுமார் 2,08,000 பங்கேற்பாளர்கள் மற்றும் கிட்டத்தட்ட 2.6 கோடி பதில்களை உள்ளடக்கிய நடத்தைப் பரிசோதனைகளில் இருந்து உருவாக்கப்பட்டது. ஆராய்ச்சியாளர்கள் Qwen3, Llama3, மற்றும் OLMo 3 குடும்பங்களில் உள்ள அடிப்படை மாதிரிகளைப் post-trained வகைகளுடன் ஒப்பிட்டனர். அவர்களின் முக்கியக் கண்டுபிடிப்பு ஒரே மாதிரியானது: கூடுதல் பயிற்சியால் உருவாக்கப்பட்ட உதவியாளர் பாணி பதிப்புகளை விட அடிப்படை மாதிரிகள் மனிதப் பதில்களை சிறப்பாக கணித்தன.

இந்த முடிவு ஏன் முக்கியம்

உதவியாளர் மாதிரிகள் பாதுகாப்பான, உதவிகரமான, கட்டமைக்கப்பட்ட, மற்றும் பல நேரங்களில் அவர்களின் காரணங்களை தெளிவாக வெளிப்படுத்தும் வகையில் வடிவமைக்கப்படுகின்றன. இத்தகைய பண்புகள் அன்றாட தயாரிப்பு பயன்பாட்டுக்கு மதிப்புமிக்கவை. ஆனால் அவை ஒரு சோதனையில் சாதாரண மனிதர் போல நடப்பதற்கு சமமல்ல. ஒரு மாதிரி தெளிவாக, மரியாதையாக, மற்றும் பணிக்கேற்ற ஒற்றுமையுடன் பதிலளிக்கத் தகுந்ததாக fine-tune செய்யப்பட்டிருந்தால், உண்மையான மனிதப் பதில்களை விவரிக்கும் மாறுபாடு மற்றும் குழப்பத்திலிருந்து அது விலகலாம்.

அதனால், சாட்பாட்களை மனிதப் பங்கேற்பாளர்களுக்குப் பதிலாகக் கருதும் எந்தத் துறைக்கும் இந்த ஆய்வு முக்கியமானது. மக்கள் உண்மையில் எப்படிப் பதிலளிக்கிறார்கள், முடிவெடுக்கிறார்கள், அல்லது எதிர்வினையாற்றுகிறார்கள் என்பதை சிமுலேட் செய்வதே இலக்கு என்றால், அதிகம் மெருகூட்டப்பட்ட உதவியாளர் தவறான கருவியாக இருக்கலாம்.

அடிப்படை மாதிரிகள் post-trained பதிப்புகளை விட மேலோங்கின

அறிக்கையில், இந்தப் போக்கு மாதிரி குடும்பங்களிலும் அளவுகளிலும் தொடர்ந்ததாகக் கூறப்படுகிறது. அடிப்படை மாதிரிகள், உரையில் அடுத்த சொல் என்ன என்பதை கணிக்க மட்டுமே பயிற்சியளிக்கப்பட்டவை, மனிதர்கள் உண்மையில் அளித்த பதில்களை கணிப்பதில் அவர்களின் post-trained வாரிசுகளை விட மேலாக இருந்தன. இந்தக் குறைவு பொதுவான post-training இலக்குகள் அனைத்திலும் தெரிந்தது; reasoning மாதிரிகளில்தான் மிகக் குறைவான செயல்திறன் ஏற்பட்டது, அதன் பின் instruction-tuned பதிப்புகள் மற்றும் vision-extended வகைகள் வந்தன.

இந்த கண்டுபிடிப்பு குறிப்பாக கவனம் ஈர்க்கிறது, ஏனெனில் அது AI தயாரிப்பு வளர்ச்சியில் உள்ள ஒரு பொதுவான உள்ளுணர்வுக்கு எதிராக செல்கிறது: பின்னைய, மேலும் செம்மையான பதிப்புகள் பொதுவாக சிறந்ததாக இருக்க வேண்டும். அவை சிறந்த உதவியாளர்களாக இருக்கலாம். ஆனால் ஆய்வு வாதிப்பது, அவை மனவியல் பிரதிபலிப்புகளாக மோசமானவையாக இருக்கலாம் என்பதே.

பெஞ்ச்மார்க்கிற்காக மட்டுமல்ல, நடத்தைக்காக உருவாக்கப்பட்ட ஒரு தரவுத்தொகுப்பு

Psych-201 இந்தப் பங்களிப்பின் முக்கிய அங்கமாகத் தோன்றுகிறது. மூல உரை இதை முந்தைய இதே வகை தொகுப்புகளைக் காட்டிலும் பல மடங்கு பெரியதாக விவரிக்கிறது; இதில் முழுமையான பரிசோதனை ஓட்டங்கள் மற்றும் வயது, நாட்டினம், மற்றும் கேள்வித்தாள் பதில்கள் போன்ற பங்கேற்பாளர் மெட்டாடேட்டாவும் அடங்கும். இது முக்கியம், ஏனெனில் மனிதச் சார்பினை மதிப்பிடுவதற்கு பரந்த நடத்தைச் சான்றுகள் தேவை, குறுகிய பெஞ்ச்மார்க் அல்ல.

இவ்வளவு பெரிய தரவுத்தொகுப்பு இருப்பதால், மாதிரிகளின் நடத்தை சில பொருத்தமான உதாரணங்களிலேயே சீராகத் தெரிகிறது என்பதைக் காட்டாமல், பல பணிகளில் மனிதப் பகிர்மானங்களுடன் ஒப்பிட முடிகிறது. இது ஒரே மாதிரி அல்லது ஒரே பரிசோதனையின் வித்தியாசம் அல்ல, முறையான பயிற்சி மாற்றச்செய்தி என்பதற்கான வாதத்தை வலுப்படுத்துகிறது.

AI ஆராய்ச்சி மற்றும் கொள்கைப் பயன்பாட்டுக்கு இதன் பொருள்

இந்தக் கண்டுபிடிப்பு சங்கடமானது, ஏனெனில் சிமுலேட் செய்யப்பட்ட பங்கேற்பாளர்கள் மிகவும் ஈர்ப்புடையவர்கள். அவர்கள் மலிவானவர்கள், வேகமானவர்கள், மற்றும் அளவீட்டில் விரிவடையக்கூடியவர்கள். அரசுகள், நிறுவனங்கள், மற்றும் ஆராய்ச்சியாளர்கள், கொள்கைகளுக்கான எதிர்வினைகளை முன்னறிவிக்கவும், தலையீடுகளைச் சோதிக்கவும், அல்லது உண்மையான மக்களிடம் செல்லும் முன் ஆய்வுகளை முன்மாதிரி செய்யவும் அவர்களைப் பயன்படுத்த ஆசைப்படலாம். ஆனால் post-trained உதவியாளர் மாதிரிகள் மனித நடத்தையை முறையாக விலக்கினால், அந்த வசதி போலியான நம்பிக்கையாக மாறலாம்.

இந்த ஆய்வு மொழி மாதிரிகள் நடத்தைப் பணிக்குப் பயனற்றவை என்று கூறவில்லை. அது மாதிரி தேர்வு முக்கியம், வடிவமைப்பு இலக்கும் முக்கியம் என்று கூறுகிறது. ஒரு பயனாளருக்கு வேலை முடிக்க உதவுவதற்காக மேம்படுத்தப்பட்ட மாதிரி, ஒரு மக்கள் குழு எப்படி சிந்திக்கிறது அல்லது பதிலளிக்கிறது என்பதை நகலெடுக்க மிகச் சிறந்த மாதிரியாக இருக்காமல் இருக்கலாம். இவை வெவ்வேறு இலக்குகள், மேலும் ஒவ்வொரு உதவியாளர் fine-tuning தலைமுறையிலும் அந்த இடைவெளி பெரிதாகலாம்.

பெரிய பாடம்

AI அமைப்புகள் பெரும்பாலும் திறன் ஒரே அச்சில் மேம்படுகிறது என்று பேசப்படுகின்றன. இந்த ஆய்வு அதைவிட சிக்கலான உண்மையை சுட்டிக்காட்டுகிறது. ஒரு மாதிரியை ஒரு பங்கிற்காக சிறப்பாக்குவது, மற்றொரு பங்கில் அதை பலவீனப்படுத்தலாம். அதிகமாக alignment பெற்ற உதவியாளர், குறைவாக மனிதனைப் போன்ற subject ஆக மாறலாம். இது பயிற்சியின் தோல்வி அல்ல, பயிற்சி இலக்குகள் மதிப்புகளையும் trade-offs-களையும் குறியிடுகின்றன என்பதற்கான நினைவூட்டல்.

செயற்கை பங்கேற்பாளர்களை விரும்பும் ஆராய்ச்சியாளர்களுக்கான takeaway எளிதானது: மிகவும் மெருகூட்டப்பட்ட சாட்பாட் தான் மிக யதார்த்தமானது என்று கருத வேண்டாம். ஒரு தயாரிப்பில் மிகவும் பயனுள்ள உதவியாளர், மனித நடத்தை பிரதிநிதியாக நம்புவதற்கு சரியான மாதிரியாக இல்லாமல் இருக்கலாம்.

இந்தக் கட்டுரை The Decoder இன் செய்தியறிக்கையை அடிப்படையாகக் கொண்டது. மூலக் கட்டுரையைப் படிக்கவும்.