గూగుల్ TimesFM-3 వక్రరేఖకు ఆవల చూస్తుంది

గూగుల్ రీసెర్చ్ TimesFM-3ను పరిచయం చేసింది. ఇది టైమ్ సిరీస్లోని భవిష్యత్ విలువలను — రోజువారీ అమ్మకాల గణాంకాలు, ట్రాఫిక్ లెక్కలు లేదా సెన్సర్ రీడింగ్లుగా కనిపించే క్రమబద్ధమైన సంఖ్యల ప్రవాహాలను — అంచనా వేయడానికి నిర్మించిన ఫోర్కాస్టింగ్ మోడల్, అదే సమయంలో ఆ సంఖ్యలను చుట్టుముట్టిన సందర్భాన్ని కూడా తూకం వేస్తుంది. ఈ విడుదల, ప్రతి డేటాసెట్ కోసం మళ్లీ నిర్మించే ప్రత్యేక ఇంజినీరింగ్ ప్రాజెక్ట్గా కాకుండా, ఫోర్కాస్టింగ్ను సాధారణ ప్రయోజన సామర్థ్యంగా మార్చే ప్రయత్నంలో మరో అడుగు.

కేంద్ర ఆధారం ఏమిటంటే, నిజమైన అంచనాలు అరుదుగా ఒకే వేరియబుల్పై ఆధారపడతాయి. ఐస్ క్రీమ్ అమ్మకాలను ఊహించడానికి ప్రయత్నిస్తున్న రిటైల్ చైన్ ఉదాహరణతో గూగుల్ ఈ విషయాన్ని వివరిస్తుంది. గత ఐస్ క్రీమ్ కొనుగోళ్లను మాత్రమే చూసే మోడల్ చాలా విషయాలను కోల్పోతుంది: వాఫుల్ కోన్లు, సిరప్ వంటి సంబంధిత వస్తువుల అమ్మకాలు, స్టోర్ సమీపంలో చారిత్రక కాలినడక ట్రాఫిక్, వాతావరణ పరిస్థితులు, ప్రణాళికాబద్ధమైన డిస్కౌంట్ ప్రచారాలు మరియు సెలవులు అన్నీ డిమాండ్ను రూపొందిస్తాయి. TimesFM-3 ఆ సంకేతాలను ప్రతిదాన్ని వేరే సమస్యగా పరిగణించకుండా ఒకే అంచనాలో చేర్చడానికి రూపొందించబడింది.

ప్యాచ్లు, నార్మలైజేషన్ మరియు ద్వి-దిశాత్మక ట్రాన్స్ఫార్మర్

నిర్మాణపరంగా, TimesFM-3 ట్రాన్స్ఫార్మర్ కుటుంబంలోనే ఉంది, ఇది దాని పూర్వీకులు ఉపయోగించిన అదే మూల రూపకల్పన. కానీ టైమ్ సిరీస్ డేటా నెట్వర్క్లోకి ఎలా ప్రవేశిస్తుందనే విషయంలో ఇది ఉద్దేశపూర్వక ఎంపికలు చేస్తుంది. మోడల్కు ఒకసారి ఒక డేటా పాయింట్ ఇవ్వడం బదులు, ఇది 32 వరుస పాయింట్లను ఒకే ప్యాచ్గా సమూహపరుస్తుంది. ఆ ప్యాచ్ మోడల్ ఆలోచించే యూనిట్గా మారుతుంది, ఇది శ్రేణిని కుదిస్తుంది మరియు స్థానిక ఆకృతిపై నెట్వర్క్కు విస్తృత దృష్టిని ఇస్తుంది.

గూగుల్ ప్రతి సిరీస్ను ఒక సాధారణ స్కేల్కు కూడా నార్మలైజ్ చేస్తుంది. ఇది ముఖ్యం ఎందుకంటే టైమ్ సిరీస్లు విపరీతంగా భిన్నమైన పరిమాణాల్లో వస్తాయి — రోజుకు కొన్ని యూనిట్ల అమ్మకం నుంచి పారిశ్రామిక సెన్సర్ నుంచి మిలియన్ల రీడింగ్ల వరకు — మరియు వాటిని నేరుగా పోల్చడం అర్థరహితం. ప్రతి సిరీస్ను ఒక ఉమ్మడి ప్రాతిపదికకు స్కేల్ చేయడం వల్ల చాలా భిన్న రంగాల నమూనాలను మోడల్ సమానంగా పరిగణించగలదు.

తర్వాత ప్రాసెసింగ్ రెండు ప్రత్యామ్నాయ దిశల్లో నడుస్తుంది. సమయ అక్షం వెంట, మోడల్ ఒకే సిరీస్ లోపల నమూనాలను వెతుకుతుంది, మరియు భవిష్యత్ సమాచారం అంచనాలోకి చోరీ చేయకుండా ఉండేందుకు ఇది గత విలువలను మాత్రమే ఉపయోగిస్తుంది. సిరీస్ల అంతటా, ఇది ఒక నిర్దిష్ట క్షణంలో ప్రతి వేరియబుల్ను పోల్చి అవి ఎలా సంబంధం కలిగి ఉన్నాయో నేర్చుకుంటుంది. ఆ క్రాస్-సిరీస్ దృష్టి, ఒక ఉత్పత్తిపై డిస్కౌంట్ మరొకదాని అమ్మకాలను మార్చడం వంటి ప్రభావాలను గుర్తించడానికి మోడల్ను అనుమతిస్తుంది — ఒకే-సిరీస్ మోడల్ ఎప్పటికీ గమనించలేని సంబంధం.

Architectural diagram of TimesFM-3, showing four time series in patches of 32 points each, a token grid consisting of causal temporal attention and full variate attention, and the predicted target series T1 and T2.
Blue marks the target series, purple a variable known only historically, and green a known future event whose tokens already include upcoming patches. | Image: Google

ఇన్పుట్ సెటప్ గురించి గూగుల్ వివరణలో డేటాకు రంగు కోడ్లు ఉన్నాయి: నీలం లక్ష్య సిరీస్, ఊదా కేవలం చరిత్ర నుంచి తెలిసిన వేరియబుల్స్, మరియు ఆకుపచ్చ రంగు తెలిసిన భవిష్యత్ సంఘటనలకు టోకెన్లు, వీటి ప్రాతినిధ్యంలో రాబోయే ప్యాచ్లు ఇప్పటికే ఉంటాయి.

అదనపు సంకేతంలో మూడు రకాలు

గూగుల్ ప్రకారం, TimesFM-3 మూడు విభిన్న రకాల అనుబంధ డేటాను అంగీకరిస్తుంది.

  • ఇది సంయుక్తంగా అంచనా వేసే కోవేరియేట్లు. మోడల్ అనేక సంబంధిత వేరియబుల్లను ఒకేసారి అంచనా వేయగలదు, ఉదాహరణకు వివిధ ఐస్ క్రీమ్ రుచుల డిమాండ్, ప్రతిదాన్ని విడిగా పరిగణించకుండా.
  • చారిత్రకంగా తెలిసిన వేరియబుల్స్. గత కాలినడక ట్రాఫిక్ వంటి కారకాలు వర్తమానం వరకు అందుబాటులో ఉంటాయి కానీ దాని ఆవల కాదు, మరియు మోడల్ వాటిని సందర్భంగా చేర్చుకుంటుంది.
  • తెలిసిన భవిష్యత్ సంఘటనలు. ప్రణాళికాబద్ధమైన ప్రమోషన్లు, డిస్కౌంట్ షెడ్యూల్లు మరియు వాతావరణ అంచనాలు అనేవి సమయం ఇప్పటికే తెలిసిన సంఘటనలు, కాబట్టి మోడల్ వాటిని చరిత్ర నుంచి మాత్రమే ఊహించకుండా ముందుచూపు ఇన్పుట్లుగా ఉపయోగించగలదు.

ఆ మూడో వర్గమే TimesFM-3 క్లాసికల్ గణాంక ఫోర్కాస్టింగ్ నుంచి అత్యంత తీవ్రంగా భిన్నంగా ఉండే చోటు. ప్రమోషన్ క్యాలెండర్ అనేది కనుగొనాల్సిన నమూనా కాదు — అది భవిష్యత్తు గురించిన వాస్తవం. ఈ మోడల్ అలాంటి వాస్తవాలను ఇన్పుట్గా అంగీకరించేలా రూపొందించబడింది.

దశలవారీగా కాకుండా ఒకే షాట్

మోడల్ మునుపటి వెర్షన్లు ఒకసారి ఒక బ్లాక్ చొప్పున అంచనాలు రూపొందించాయి. ప్రతి కొత్త బ్లాక్ మునుపటి అంచనాపై నిర్మించబడింది, ఈ విధానాన్ని గూగుల్ నెమ్మదిగా, లెక్కల భారంగా మరియు పోగుపడే లోపానికి గురయ్యేదిగా వర్ణిస్తుంది: శ్రేణిలో ముందుగా జరిగిన చిన్న పొరపాటు తర్వాత వచ్చిన ప్రతిదాన్ని వక్రీకరించగలదు. ఆటోరిగ్రెసివ్ ఫోర్కాస్టింగ్లో ఇది సుపరిచితమైన వైఫల్య విధానం, ఇక్కడ మోడల్ ప్రభావవంతంగా తన స్వంత అవుట్పుట్నే తినిపోతుంది.

TimesFM-3 ఆ లూప్ను విడిచిపెడుతుంది. ఇది ప్రతి భవిష్యత్ సమయ దశకు ఖాళీ ప్లేస్హోల్డర్లను కేటాయించి, వాటిని ఒకే స్వీప్లో పూరిస్తుంది. గూగుల్ దీన్ని వన్-షాట్ ఫోర్కాస్టింగ్గా అభివర్ణిస్తుంది, మరియు ఆచరణాత్మక వ్యత్యాసం ఐస్ క్రీమ్ దృశ్యంలో కనిపిస్తుంది. గత అమ్మకాలు మాత్రమే తెలిసిన మోడల్ ఇప్పటికే ఏర్పడిన వారపు లయను కొనసాగిస్తుంది, ఇంకా జరగని ప్రమోషన్ గురించి తెలియకుండా. TimesFM-3 డిస్కౌంట్ షెడ్యూల్ను స్వీకరించిన తర్వాత, అది ఒక్క దశ చొప్పున ముందుకు నడవకుండా ఒకే పాస్లో అంచనాను సర్దుబాటు చేయగలదు.

ప్రతి దశకు తొమ్మిది విలువలు: అనిశ్చితి అంతర్నిర్మితం

ప్రతి సమయ దశకు ఒకే పాయింట్ అంచనా ఇవ్వడం బదులు, TimesFM-3 ప్రతి దశకు తొమ్మిది విలువలను ఇస్తుంది. ఆ విలువలు అంచనా యొక్క పరిధిని మరియు అనిశ్చితిని సంగ్రహించడానికి ఉద్దేశించబడ్డాయి — ఏమి జరగవచ్చో మాత్రమే కాకుండా మోడల్కు ఎంత నమ్మకం ఉందో కూడా తెలిపే అంచనా. ప్రణాళిక ప్రయోజనాల కోసం, ఆ భేదం తరచుగా కేవలం ఒక సంఖ్య కంటే ఉపయోగకరం, ఎందుకంటే ఇది డౌన్స్ట్రీమ్ సిస్టమ్లను రిస్క్ గురించి ఆలోచించడానికి, ఇన్వెంటరీ లేదా నిల్వ సామర్థ్యాన్ని బఫర్ చేయడానికి అనుమతిస్తుంది.

Scatter plot for the Gift-Eval benchmark showing the average rank for point and probability forecasts; TimesFM-3 is shown in orange at the bottom left, ahead of Chronos-2, Toto-2.0, TiRex-2, and TimesFM-2.5.
Lower left is better. TimesFM-3 leads Gift-Eval by a wide margin, even when limited to a single variable. | Image: Google

ట్రిలియన్-పాయింట్ స్కేల్పై శిక్షణ, జీరో-షాట్గా అమలు

ఈ మోడల్లో 330 మిలియన్ పారామితులు ఉన్నాయి మరియు గూగుల్ ప్రకారం ఇది మొత్తం ఒక ట్రిలియన్ డేటా పాయింట్లకు పైగా ఉన్న నిజమైన మరియు సింథటిక్ టైమ్ సిరీస్ల మిశ్రమంపై శిక్షణ పొందింది. దాని పూర్వీకుల మాదిరిగానే, ఇది జీరో-షాట్గా పనిచేస్తుంది: కొత్త పనికి అదనపు శిక్షణ అవసరం లేదు. ఆ లక్షణం ఈ ప్రతిపాదనకు కేంద్రం. ప్రతి కొత్త ఫోర్కాస్టింగ్ సమస్యకు లేబుల్ చేసిన డేటాసెట్ను సమకూర్చి మోడల్ను ఫిట్ చేయడం బదులు, ఒక ప్రాక్టీషనర్ TimesFM-3ను ఒక సిరీస్ మరియు దానితో అనుబంధిత సంకేతాల వైపు చూపించి ఉపయోగకరమైన అవుట్పుట్ను ఆశించవచ్చు.

జీరో-షాట్ పనితీరే ఫోర్కాస్టింగ్కు ఫౌండేషన్-మోడల్ విధానాన్ని మొదటి నుంచి ఆకర్షణీయంగా చేస్తుంది. ఫోర్కాస్టింగ్ సమస్యలు ప్రతిచోటా ఉన్నాయి — ఇన్వెంటరీ, ఇంధన లోడ్, సిబ్బంది, లాజిస్టిక్స్, సామర్థ్య ప్రణాళిక — కానీ చారిత్రకంగా ప్రతిదానికీ దాని స్వంత పైప్లైన్, దాని స్వంత ఫీచర్లు మరియు దాని స్వంత ధ్రువీకరణ విధానం అవసరమయ్యేది. వాటి అంతటా సాధారణీకరించే ఒకే మోడల్, ఫోర్కాస్టింగ్ వ్యవస్థను ఎవరు నిర్మించగలరో మరియు ఎంత వేగంగా నిర్మించగలరో మారుస్తుంది.

ఇక్కడ శిక్షణ డేటా విస్తృతి పారామితుల సంఖ్యతో సమానంగా ముఖ్యం. సింథటిక్ సిరీస్లను నిజమైన వాటితో కలపడం ద్వారా, ఏ ఒక్క రంగం అందించలేని విస్తృత రకాల ఆకృతులు, కాలానుగుణ లయలు మరియు షాక్ నమూనాలకు గూగుల్ మోడల్ను గురిచేయగలదు. ఆ వైవిధ్యమే సాధారణీకరణకు ముడిసరుకు, మరియు జీరో-షాట్ వాదన చివరికి దానిపైనే ఆధారపడి ఉంటుంది.

సంఖ్యల కోసం ఫౌండేషన్ మోడల్స్పై విస్తృత పందెం

TimesFM-3 రెండు ధోరణుల కూడలిలో ఉంది: టెక్స్ట్ మరియు ఇమేజ్లను మించి ఫౌండేషన్ మోడల్స్ స్కేలింగ్, మరియు మెరుగైన కార్యాచరణ ఫోర్కాస్టింగ్ కోసం దీర్ఘకాలిక డిమాండ్. సందర్భమే అమాయక బహిర్వేశనను ఉపయోగకరమైన అంచనా నుంచి వేరు చేస్తుందని గూగుల్ చెబుతోంది, మరియు నిర్మాణం ఆ వాదనకు నేరుగా స్పందన — సామర్థ్యం కోసం ప్యాచ్లు, పోల్చదగినత్వం కోసం నార్మలైజేషన్, సంబంధాల కోసం సమయం మరియు వేరియబుల్స్ రెండింటిపై శ్రద్ధ, మరియు సంగతత్వం కోసం వన్-షాట్ డీకోడర్.

గందరగోళమైన వాస్తవ ప్రపంచ డేటాలో ఆ కలయిక నిలబడుతుందా అనేది ఏ జీరో-షాట్ వ్యవస్థకైనా లాగానే బహిరంగ ప్రశ్నగా మిగిలిపోతుంది. కానీ దిశ స్పష్టంగా ఉంది: ఫోర్కాస్టింగ్ను గణాంక పనిగా కాకుండా సాధారణ తార్కిక పనిగా పరిగణిస్తున్నారు, దీనిలో అమ్మకాల డేటా, వాతావరణం మరియు డిస్కౌంట్ క్యాలెండర్ అన్నీ ఒకే ఇన్పుట్లో ఉండాలి. ప్రమోషన్లు నడిపే రిటైలర్లకు, లోడ్ను సమతుల్యం చేసే యుటిలిటీలకు మరియు సామర్థ్యాన్ని ప్రణాళిక వేసే ఆపరేటర్లకు, ఆకర్షణ సూటిగా ఉంది — మోడల్ను ఇప్పటికే క్యాలెండర్లో ఉన్న సంఘటనలను ముందుగా ఊహించమని అడుగుతారు, గత సంవత్సరం లైనును కేవలం పొడిగించమని కాదు.

This article is based on reporting by The Decoder. Read the original article.

Originally published on the-decoder.com