GoogleのTimesFM-3は曲線の先を見据える
Google ResearchはTimesFM-3を発表した。これは時系列——日々の売上高、交通量、センサー測定値として現れる順序付けられた数値の流れ——の将来値を予測するために構築された予測モデルであり、そうした数値を取り巻く文脈も同時に考慮する。このリリースは、予測をデータセットごとに作り直す特注のエンジニアリングプロジェクトではなく、汎用能力へと変える取り組みにおける新たな一歩となる。
中心的な前提は、実際の予測が単一の変数に依存することはほとんどないという点だ。Googleはアイスクリームの売上を予測しようとする小売チェーンを例に挙げて説明する。過去のアイスクリーム購入履歴だけを見るモデルは多くを見落とす。ワッフルコーンやシロップといった関連商品の売上、店舗周辺の過去の来店者数、天気、予定された割引キャンペーン、祝日などがすべて需要を形作る。TimesFM-3は、これらをそれぞれ別個の問題として扱うのではなく、一つの予測に織り込むよう設計されている。
パッチ、正規化、双方向Transformer
アーキテクチャ上、TimesFM-3は前身と同じ基本設計であるTransformerファミリーにとどまる。しかし、時系列データをネットワークにどう入力するかについては意図的な選択を行っている。モデルに一度に1つのデータ点を与えるのではなく、32個の連続した点を1つのパッチにまとめる。そのパッチがモデルが推論する単位となり、系列を短縮し、ネットワークに局所的な形状のより広い視野を与える。
Googleはまた、各系列を共通のスケールに正規化する。これは重要だ。時系列は大きく異なる規模で現れる——1日あたり数個の販売数と、産業用センサーからの数百万件の測定値——ため、それらを直接比較しても意味がない。各系列を共通の基準にスケーリングすることで、モデルは非常に異なる領域のパターンを比較可能なものとして扱える。
その後、処理は2つの方向で交互に実行される。時間軸に沿って、モデルは単一の系列内のパターンを探し、将来の情報が予測に漏れないよう過去の値のみを参照する。系列間では、ある時点のすべての変数を比較し、それらがどう関係するかを学習する。この系列間の視点により、ある商品の割引が別の商品の売上を変化させるといった効果——単一系列のモデルでは決して観察できない関係——を捉えられる。
Googleの入力設定の図では、データが色分けされている。青はターゲット系列、紫は履歴からのみ知られる変数、緑は既知の将来イベントのトークンで、その表現には今後のパッチがすでに含まれている。
追加シグナルの3つの種類
Googleによると、TimesFM-3は3種類の補足データを受け入れる。
- 同時に予測する共変量。 モデルは、異なるアイスクリームのフレーバーの需要など、複数の関連変数を個別に扱うのではなく一度に予測できる。
- 歴史的に知られた変数。 過去の来店者数などの要因は現在まで利用可能だがそれ以降は得られず、モデルはそれらを文脈として組み込む。
- 既知の将来イベント。 予定されたプロモーション、割引スケジュール、天気予報はタイミングがすでに知られているイベントであり、モデルは履歴だけから推測するのではなく、前方を見据えた入力として利用できる。
この第3のカテゴリーこそ、TimesFM-3が古典的な統計的予測から最も大きく逸脱する点だ。プロモーションカレンダーは発見されるのを待つパターンではなく、未来に関する事実である。このモデルは、そうした事実を入力として受け入れるよう設計されている。
段階的ではなく一括で
以前のバージョンのモデルは、予測を一度に1ブロックずつ生成していた。新しい各ブロックは前の予測に基づいて構築され、Googleはこのアプローチを遅く、計算負荷が高く、誤差の累積に対して脆弱だと説明する。系列の早い段階での小さな誤りが、その後のすべてを歪める可能性がある。これは自己回帰的予測でよく見られる失敗モードであり、モデルが事実上自身の出力を餌にする。
TimesFM-3はそのループを捨てる。将来の各時間ステップに空白のプレースホルダーを割り当て、それらを一度のスイープで完成させる。Googleはこれをワンショット予測と呼び、実際の違いはアイスクリームのシナリオに現れる。過去の売上しか知らないモデルは、まだ起きていないプロモーションに気づかず、確立された週次のリズムを単に継続するだけだ。TimesFM-3が割引スケジュールを受け取ると、一歩ずつ前進するのではなく、一度のパスで予測を調整できる。
ステップごとに9つの値：不確実性を内蔵
各時間ステップに対して単一の点推定を出力する代わりに、TimesFM-3はステップごとに9つの値を出力する。これらの値は予測の範囲と不確実性を捉えることを意図している——何が起こりそうかだけでなく、モデルがどれほど自信があるかを伝える予測だ。計画の目的では、この区別は単なる数値よりも有用なことが多い。下流のシステムがリスクを考慮し、在庫や余剰能力をバッファリングできるからだ。
兆点規模で訓練、ゼロショットで展開
Googleによると、このモデルは3億3000万のパラメータを持ち、実データと合成時系列を合わせて1兆点を超えるデータポイントで訓練された。前身と同様、ゼロショットで動作する。新しいタスクに追加の訓練を必要としない。この特性が売り込みの中心だ。新しい予測問題ごとにラベル付きデータセットを組み立ててモデルを適合させる代わりに、実務者はTimesFM-3を系列とその関連シグナルに向け、使用可能な出力を期待できる。
ゼロショット性能は、予測への基盤モデルアプローチがそもそも魅力的である理由でもある。予測問題は至る所にある——在庫、エネルギー負荷、人員配置、物流、能力計画——が、歴史的にはそれぞれが独自のパイプライン、独自の特徴量、独自の検証体制を必要とした。それらを横断して汎化する単一のモデルは、誰が予測システムを構築でき、どれだけ迅速にできるかを変える。
訓練データの広さは、ここではパラメータ数と同じくらい重要だ。合成系列を実系列と混ぜることで、Googleは単一の領域では提供できない多様な形状、季節的リズム、ショックパターンにモデルをさらせる。その多様性が汎化の原材料であり、ゼロショットの主張が最終的に依拠するものだ。
数値のための基盤モデルへの広範な賭け
TimesFM-3は2つのトレンドの交差点に位置する。テキストと画像を超えた基盤モデルのスケーリングと、より良い運用予測への長年の需要だ。Googleの枠組みは、素朴な外挿と有用な予測を分けるのは文脈であるというもので、アーキテクチャはその主張への直接的な応答だ——効率のためのパッチ、比較可能性のための正規化、関係性のための時間と変数の両方にわたるアテンション、一貫性のためのワンショットデコーダー。
その組み合わせが乱雑な実世界データ全体で持ちこたえるかどうかは、どのゼロショットシステムと同様、未解決の問いとして残る。しかし方向性は明確だ。予測は統計的な雑用としてではなく、より一般的な推論タスクとして扱われつつあり、売上データ、天気、割引カレンダーがすべて同じ入力に属するものとなっている。プロモーションを実施する小売業者、負荷を調整する電力会社、能力を計画する運用者にとって、魅力は単純だ——モデルは昨年の線を延長するだけでなく、すでにカレンダーにあるイベントを先読みするよう求められている。
This article is based on reporting by The Decoder. Read the original article.
Originally published on the-decoder.com
