OpenAIの安全性レポート執筆者が辞任、AI文化は「壊れている」と警告

OpenAIの安全性執筆者が去る

長年にわたり、デビッド・ロビンソンはOpenAIの最大規模のモデル発表に付随する安全性文書の作成を担った人物の一人だった。これらのレポートは、ラボと外部の世界をつなぐ架け橋となることを目的としている——新しいシステムが何をできるのか、その限界はどこにあるのか、ユーザーに届く前にどのような安全策が講じられているのかを記した文書である。今週、ロビンソンはその役割を辞任し、静かに去るのではなく、The Atlanticへの寄稿で自らの主張を公にした。

彼の主張は、OpenAIに内部ポリシーの数ページがさらに必要だというものではない。フロンティアAI業界を貫く文化が根本的に壊れており、それを修正するには、通常業務に新たなルールや規制チェックリストを付け足すよりもはるかに深いものが求められる、というものだ。

ロビンソンが描く文化の問題

ロビンソンは、一世代にわたってシリコンバレーを形作ってきた一連の習慣を指摘する。彼が特徴づけるところによれば、極端な自信、絶え間ないスプリントのサイクル、そして新しいモデルを疑いようのない前進とみなす妨げのない楽観主義である。そうした環境では、潜在的な害は測定され緩和されるどころか、無視され、軽視され、あるいは存在しないものと見なされがちだ。

この捉え方が重要なのは、議論の形を変えるからだ。もし問題が単一の誤った判断や、リソース不足の一チームであれば、的を絞った介入で十分かもしれない。しかし、業界の根底にある気質そのものが問題であるなら、解決策はこうした企業が自らの誤りやすさをどう考えるかを変えることを含まねばならない——外部のルールブックが単に命じられるものではない。

ロビンソンの処方箋は謙虚さから始まる。AI企業は、自分たちが育った閉鎖的で「素早く動き、物を壊せ」の世界を超えて見渡し、完全には排除できないリスクを管理する方法を数十年かけて学んできた分野から判断を借りる必要があると彼は主張する。

原子力発電所、空港、そして冗長性の必要性

ロビンソンの主張で最も具体的な部分は、フロンティアラボがどう運営されるべきかについての彼の類推である。関与するリスクの規模を考えれば、彼は、起業家がローンチ日を追いかけるようではなく、原子力発電所や混雑した空港のように運営されるべきだと論じる。

これらは、社会がすでに破滅的な不利益を伴うものとして信頼を置いている機関である。それらは人間が誤りを犯すという前提に基づいて設計され、時折避けられない誤りが災害への扉を開かないよう、冗長性の層と意図的で時間のかかる計画によって構築されている。目的は、単一のオペレーターによる完璧なパフォーマンスではなく、誤りが不可逆的なものへと連鎖する前に吸収するシステムである。

AI開発に置き換えれば、その論理は、より遅いリリースサイクル、複数の独立したレビュー系統、そして業界が現在は純粋な無駄とみなしている時間を費やす意欲を意味する。また、安全性の仕事はビルドの最後に作られる文書ではなく、最初からビルドがどのように行われるかの構造的性質であることも意味する。

なぜルールだけでは不十分かもしれないのか

ロビンソンの中心的な主張は、これがトレーニング実行の扱い方にいくつかの新しい規制を課すだけでは済まない、より深い問題だということだ。ルールは行動を周辺的に制約できるが、仕事をする人々のインセンティブや自己イメージを変えることはほとんどない。世界を救っていると信じている企業が、摩擦と見なすコンプライアンス要件によって大きく減速させられる可能性は低い。

彼が事実上描写しているのは、内側から解決されねばならない文化の問題である——自分たちが間違っているかもしれないと声に出して言う用意のあるリーダーたちによって、そしてそう言うことがキャリアの自殺にならないように構造化された組織によって。

増え続ける離職者のリスト

ロビンソンは、著名なAI企業を去り、その後自分が見たものを公に語る研究者や安全性スタッフという、今や認識可能なパターンの中の最新の人物である。現在の波は、Anthropicを辞任し、AIが今十年の終わりまでに我々全員を殺しうると警告したジェイコブ・コクソンによって始まったようだ。

他の者たちも続いた：

• ロバート・オキャラハン、ビラル・チュグタイ、ジョシュ・エンゲルス——いずれもGoogle DeepMindを去った。
• ジョー・ベントン——Anthropicを去った。

それぞれの離職は、何か体系的なものが安全性を重んじる人々をラボから追い出しているという主張にデータ点を加える。下振れリスクについて考えるために雇われた人々が、内側からその仕事を効果的に行うことはできないと結論づけ続けるとき、そうした懸念が内部でどれほどの重みを持つのかについて明白な疑問が生じる。

シニシズムの問題

このすべてに対して、もっともな反論がある。ある技術の構築を手伝った人々が振り返ってそれについて警告するとき、シニカルに感じるのは容易だ——彼らは今描写している状況に貢献し、その警告はシステムがすでに展開された後に届くのだから。

しかし、その反応は、どれほど理解できようとも、彼らが言っていることの実質を無効にはしない。インサイダーの知識こそが、これらの証言を有用にするものだ。安全性レポートを書き、評価を実行し、リリースの決定がなされる部屋に座っていた人々は、外部の評論家よりも、それらの決定が実際にどうなされるかを描写するのに適した立場にある。

これが次のモデルリリースにとって意味すること

実務上の利害は明白だ。主要なモデルの発表は今や、ユーザー、企業、規制当局を安心させるための文書とともに届く。その文書を書いた人物が、それを生み出す文化は壊れていると結論づけるなら、開示の取り組み全体の信頼性が疑問にさらされる。

ロビンソンの答えは、その仕事を放棄することではなく、より慎重な基盤の上に再構築することである——人間の誤りを、説明して片付ける例外ではなく、それを前提に設計すべき確実なものとして扱う基盤だ。フロンティアラボがその姿勢を自発的に採用するのか、それとも外部の圧力が強いる後になってからなのかは、今や業界の次のリリース群にぶら下がる中心的な問いである。

今のところ、警告は構造的変化よりも速く蓄積している。ロビンソンの辞任は、技術に最も近い人々が、それが世に出されるペースに最も居心地の悪さを感じているという最新のシグナルである。

この記事はThe Vergeの報道に基づいています。元記事を読む。