నియంత్రణযోగ్యత ప్రశ్న
AI తర్కణ నమూనాలు మరింత సామర్థ్యవంతమయ్యే కొద్దీ, ఒక ప్రశ్న భద్రతా పరిశోధన కేంద్రానికి కేంద్రీయమైంది: డెవలపర్లు ఈ సిస్టమ్లను వాటి చింతన ప్రక్రియను నియంత్రించడానికి, సవరించడానికి లేదా దాచడానికి నిర్దేశించగలరా? OpenAI యొక్క కొత్త పరిశోధన నిశ్చితమైన మరియు సంతృప్తిపరిచే సమాధానం అందిస్తుంది — సులభంగా కాదు, మరియు ఆ నిర్మాణాత్మక ప్రతిఘటన AI పారదర్శకత మరియు పర్యవేక్షణకు నిజంగా శుభవార్త।
పరిశోధన తర్కణ నమూనాలను సంపూర్ణంగా కాకుండా అથवా వాటి chain-of-thought ను తప్పుచేయమని నిర్దేశించవచ్చా అని పరీక్షించారు. ఆవిష్కరణలు సూచిస్తున్నాయి తర్కణ నమూనాలు సూక్ష్మంగా అంతర్నిహిత తార్కిక వర్తనాలను కలిగి ఉన్నాయి, ఇవి సరళమైన ఓవర్రైడ్కు ప్రతిఘటన చూపుతాయి — నమ్మదగిన AI సిస్టమ్లను ఎలా నిర్మించాలి మరియు పర్యవేక్షణ చేయాలి అనేదానికి ముఖ్యమైన చిక్కులు ఉన్న లక్షణం।
OpenAI యొక్క o-series వంటి తర్కణ నమూనాలు విస్తారిత ఆలోచన ప్రక్రియలను ఉపయోగిస్తాయి, ఇవి scratchpad-శైలి ఔట్పుట్గా వినియోగదారులకు కనిపిస్తాయి. దృశ్యమానమైన చింతన ప్రక్రియ నమూనా యొక్క అంతర్గత గణన ప్రక్రియను ఖచ్చితంగా సూచిస్తుందో లేదా ఆ ప్రక్రియను చెడ్డ నటులు లేదా సారিবद్ధతకు రానిటి ఉద్దేశ్యాలు దాచవచ్చు లేదా తారుమారు చేయగలరా — ఇది AI సురక్షత సర్కిల్లలో సంవత్సరాలుగా సజీవ చర్చ.",
పరిశోధన ఏమి కనుగొంది
పరిశోధకులు తర్కణ నమూనాల సంస్కరణలను శిక్షణ ఇవ్వటానికి ప్రయత్నించారు, ఇవి కూడా వాటి chain-of-thought ను పూర్తిగా దాచిపెడతాయి లేదా తప్పుదారి పట్టించే చింతన జాడను ఉత్పత్తి చేస్తాయి. తాము కనుగొన్నది ఏమిటంటే, దృశ్యమానమైన ఆలోచన ప్రక్రియను అంతర్గత గణన నుండి వేరు చేయటానికి ప్రయత్నాలు సాధారణంగా మొత్తం నమూనా పనితీరును క్షీణించాయి. చింతన ప్రక్రియ మరియు ఆউట్పుట్ నాణ్యత సన్నిహితంగా కపులయుక్తమైనవిగా కనిపిస్తాయి — మీరు సులభంగా ఒకదానిని తీసివేయలేరు మరొకటి నష్టపరచకుండా।
ఈ కపులయుక్తతను శిక్షణ సమయంలో ఈ నమూనాలు ఎలా తార్కికంగా ఆలోచించడం నేర్చుకుంటాయో అందులో నిర్మాణాత్మక లక్షణం. వారు సమస్య-పరిష్కారం సామర్థ్యానికి సమగ్రమైన తార్కిక నమూనాలను అభివృద్ధి చేస్తారు, చేపట్టగల పూట కాదు, దీనిని తీసివేయవచ్చు. సూచన సూచన లేదా లక్ష్యిత fine-tuning ద్వారా ఈ ఆలోచన ప్రక్రియను నిగ్రహించే ప్రయత్నాలు ప్రధానంగా నమూనాలను ఉత్పత్తి చేయడంలో విఫలమయ్యాయి, ఇవి విశ్వాసపాత్రంగా సమర్థ మరియు నమ్మదగిన తటస్థ రెండూ ఉన్నాయి।
పరిశోధన దృశ్యమానమైన ఆలోచన ప్రక్రియను ఉపయోగించి నమూనాలను వినియోగదారులను మోసం చేయమని ప్ররేపించవచ్చా అని కూడా అన్వేషించారు — సంభావ్య-ప్రదర్శన కానీ కల్పిత ఆలోచన దశలను చూపుతూ, రహస్యంగా విభిన్న అంతర్గత తర్కాన్ని అనుసరిస్తూ. ఈ దృశ్యం విస్తృతంగా పరీక్షించబడింది మరియు ప్రస్తుత నమూనా ఆర్కిటెక్చర్లో నమ్మదగిన రీతిలో ఉత్పత్తి చేయడం కష్టమని కనుగొనబడింది, దృశ్యమానమైన chain-of-thought వాస్తవ అంతర్గత తార్కికతను ట్రాక్ చేస్తుందని సాక్ష్యం ఇస్తూ, కేవలం పనితీరు ప్రదర్శన కంటే.",
