CloudflareのClef意思決定モデル、人間をループに置かず高速なAIエージェントを実現すると約束

CloudflareのClefはエージェントの意思決定レイヤーを狙う

Cloudflareは、AIエージェント向けに構築された一対の意思決定モデル「Clef」と「Clef-flash」をリリースした。狙いはTypeSafe AIのJevに真っ向から向けられている。同社の中心的な売りは速度だ。長い自然言語の応答を生成する代わりに、Clefは確率を付与した短い分類を返す。これらの確率は、サポートチケットのルーティング、エスカレーションの起動、あるいは人間のオペレーターへの引き継ぎなど、下流のコードが具体的に行動するための材料となる。

Cloudflareの説明は率直だ。この種のモデルを使えば「エージェント的な意思決定において、もはや人間が必ずしもループに入っている必要はない」という。同社の説明では、エージェントはプログラム的にコンテキストを収集し、意思決定を行い、タスクに対して行動できる一方で、状況がそれを必要とする場合には人間に委ねることもできる。これは自律性に関する重大な主張であり、すでにこのカテゴリーの先駆者として地位を確立しているモデルとCloudflareを競合させることになる。

意思決定モデルが実際に行うこと

「意思決定モデル」という用語は、汎用言語モデルと従来の分類器の間に位置するシステムを指す。エッセイを書いたり会話をしたりするわけではない。代わりに、入力に関するあらかじめ定義された一連の質問に答え、考えられる各回答に対して確率を返す。

Cloudflareが挙げる実用的な例は、カスタマーサポートのメッセージだ。そのようなメッセージが与えられると、Clefはその緊急度を評価し、どのチームが対応すべきかを特定できる。下流のシステムはそれらの回答を読み取って行動する。チケットを適切なキューにルーティングし、エスカレーションし、あるいは人間に引き継ぐ。モデル自身が返信を構成する必要は一切ない。

名前は音楽に由来し、そこでは音部記号（clef）が五線の各線に音高を割り当てる。Cloudflareはこの比喩を用いて、意思決定モデルがその後に続く行動の枠組みを設定することを示唆している。Jevとの音声的な類似は、おそらく偶然ではない。

速度が最大の数字

Cloudflareはレイテンシを差別化要因として大きく打ち出している。43のベンチマークにおいて、同社はClefとより小型のClef-flashが関連するすべての競合意思決定モデルよりも高速だと述べている。報告されている中央値の応答時間は、Clef-flashが約39ミリ秒、Clefが約209ミリ秒だ。比較として、CloudflareはJevを524ミリ秒強としている。

• Clef-flash: 中央値レイテンシ約39ミリ秒。
• Clef: 中央値レイテンシ約209ミリ秒。
• Jev: Cloudflareの比較によれば524ミリ秒強。

これらは自己申告の数値であり、Cloudflareがそれを有利に提示する明らかな利害関係を持っている。それでもなお、同社が説明する差は、多数の小さな意思決定が連続して発生するシステムにおいて重要となるほど大きい。応答時間の10倍の差は、エージェントが応答性が高いと感じられるか鈍重に感じられるかを左右し、ユーザーが遅延に気づくまでにパイプラインが何ステップ実行できるかに影響しうる。

Cloudflareはまた、両モデルが同社自身のインフラストラクチャ上で直接動作することも指摘している。同社によれば、これによりエッジデータセンターへの近接性の恩恵を受けられ、意思決定が返るまでにデータが移動する距離を短縮できる可能性がある。

Qwen上に構築、Jevと互換

Cloudflareによれば、ClefとClef-flashはどちらもQwen上に構築されており、両方ともテキストと画像をサポートする。このマルチモーダル機能は、スクリーンショット、スキャンした文書、その他の視覚的入力をテキストとともに解釈する必要があるエージェントワークフローにとって重要だ。

導入にとって同じくらい重要なのは、CloudflareがAPIをJevと完全に互換に保っていることだ。すでにTypeSafe AIのモデルを使用している顧客は、統合を書き直すことなく切り替えられる。この互換性は典型的な競争戦略だ。代替案を試すコストを下げ、速度比較を意思決定における主要な変数にする。

言語モデルと分類器の間のギャップを埋める

CloudflareはClefを、これまで埋めるのが厄介だったニッチに位置づけている。大規模言語モデルは問題について推論しツールを呼び出せるが、その出力は実行ごとに変動し、遅くなる可能性がある。従来の分類器は高速だが、通常、新しいカテゴリーが導入されるたびに再トレーニングが必要だ。意思決定モデルは、分類器の速度と予測可能性を取りながら、エージェントシステムが必要とする柔軟性を保つことを目指している。

この区別は、この技術がどこに当てはまるかを考える際に有用だ:

• 言語モデルは汎用の推論器であり、その出力は柔軟だが変動し、比較的遅い。
• 従来の分類器は高速で一貫しているが硬直的で、新しいカテゴリーごとに再トレーニングが必要。
• 意思決定モデルはあらかじめ定義された選択肢に対する確率を返し、速度、構造、そしてエージェントパイプラインに十分な柔軟性を目指す。

エージェントを構築するチームにとって、魅力は明白だ。エスカレーション、ルーティング、タグ付け、一時停止を繰り返し判断しなければならないエージェントは、毎回完全な生成応答を必要としない。行動するのに十分信頼できる高速なシグナルが必要なのだ。

ループに入る人間、あるいはベンチにいる人間

Cloudflareのメッセージで最も挑発的な部分は、人間の監督がもはやすべてのエージェント的意思決定に必須のステップではないという示唆だ。Cloudflareは、エージェントがコンテキストを収集し、意思決定し、プログラム的に行動する一方で、必要に応じて人間に委ねる選択肢を保持する仕組みを説明している。

その「必要に応じて」という言葉は大きな役割を担っている。確率を返す意思決定モデルは自動行動を支えられるが、人間なしで行動するためのしきい値は、システムを構築する者が下す設計上の選択だ。高信頼度のルーティング判断は自動化しても安全かもしれないが、不満を抱く顧客、安全上の問題、あるいは金銭的コミットメントを伴うエスカレーションは、モデルが自信を持っていてもレビューが必要かもしれない。この技術はより高速な自動化を可能にするが、線をどこに引くべきかそれ自体で決着させるものではない。

確率の出力は保証と同じではない。分類は間違うことがあり、高速な誤った答えは遅いものよりも速くパイプラインを通じて伝播しうる。したがって意思決定モデルの価値は、レイテンシだけでなく、キャリブレーションと、周囲のシステムが不確実性をどれだけ優雅に処理するかに依存する。

Clefの展開で注目すべき点

Cloudflareの主張は具体的かつ測定可能であり、検証可能だ。独立したベンチマークが重要になる。特にCloudflareが引用する43のベンチマークと、ベンダーのテストスイートとは異なる実世界のワークロードにおいて。Jevとの比較も精査されるだろう。TypeSafe AIのモデルは、Clefが明示的に狙っている既存のリーダーだからだ。

Clefがエージェント構築者にとってデフォルトの選択肢になるかどうかは、いくつかの疑問が左右する:

• 独立したテストが、特に本番負荷下でレイテンシの優位性を再現するか?
• モデルはエッジケース、曖昧な入力、予期されなかったカテゴリーをどれだけうまく処理するか?
• エッジへの近接性は、グローバルに分散したアプリケーションにとって意味のある利得をもたらすか?
• 互換APIを踏まえ、チームは既存のJev統合をどれだけ簡単に移行できるか?

CloudflareはClefを、エージェントがすべての意思決定に人間をループに入れる必要がなくなる瞬間として位置づけている。より正確な読み方は、その選択をより安く、より速く実行できるようにするものだというものかもしれない。自律性が拡大するかどうかは、モデルよりも、チームがその周りに構築するガードレールにかかっている。

この記事はThe Decoderによる報道に基づいています。元の記事を読む。