OpenAIは、人々がChatGPTに入力する内容を読むことを仕事とする労働力を編成している。404 Mediaの報道によると、同社は数百人の請負業者を雇い、実際のユーザープロンプトの大量の流れを処理させている。これは、9億人を超えるチャットボットユーザーが一般に自分と機械の間だけにとどまると考えている会話である。
同メディアが確認したのは、単一の漏洩メモではなく、一連の文書の束だった。内部の指示ガイド、レビューチームが使用するSlackチャンネル、本物のChatGPTプロンプト、そして請負業者がモデルの返答を採点するために適用する評価基準である。その資料の多くは、同メディアが「Project Lily」と呼ぶ内部の看板の下にあり、ローンチ時のブログ投稿にはほとんど現れないAI開発の一面を照らし出している。
プロンプトレビューのパイプラインの内側
これらのチームの目的は、書面上は単純である。請負業者は実際のユーザーが送信したプロンプトを読み、ChatGPTが生成した回答を評価し批評する。そのフィードバックはトレーニングプロセスに還元され、次に同様のリクエストが来たときのモデルの振る舞いを形作る。
その範囲は、孤立した一行の質問よりも広い。レビュアーには、ユーザーとチャットボットの間の会話全体が表示されることがある。つまり、やり取り全体——追加の質問、訂正、途中で自発的に明かされた詳細——が人の目の前を通過する可能性がある。指示ガイドは、何が高品質な出力と見なされるかについて厳しい基準を設けており、優れた回答とは、ユーザーの実際の意図を理解し、正確で役立つ支援を提供し、適切な温かさを備えて明確かつ自然に読めるものだと説明している。
重要なのはその量である。数百人のレビュアーが絶え間ないプロンプトの流れを処理するということは、実際の会話が大規模に消費されているということであり、時折抜き取り検査のためにサンプリングされるのではない。膨大な日々のクエリの流れを扱う製品を持つ企業にとって、この人間の層は一度きりの監査ではなく、改善サイクルの常設部分となる。
数億人にとってのプライバシーの盲点
OpenAIはレビュアーにユーザー名を渡しておらず、プロンプトが人の目に届く前に個人情報を除去する努力をしていると同社は述べている。しかし同社は、機密情報がそのフィルタリングを生き延び、読む人々に届く可能性があることを認めている。
この区別は実際には極めて重要である。アカウントレベルでの匿名性は、内容における匿名性と同じではない。プロンプトが診断、離婚、借金、職場の対立、あるいは私的な恐怖について述べているなら、識別的な価値は内容そのものにあり、それに付随するハンドルネームにはない。
そしてその内容こそ、人々が持ち込むものそのものである。ChatGPTはセラピストのカウチ、プロのアシスタント、場合によってはデジタルな伴侶となっている。ユーザーは健康、人間関係、お金、悩みについての私的な詳細を日常的に明かしている——しばしば、そのやり取りが私的で、即時的で、観察されていないと感じられるからこそである。
「彼らは想像もしないだろう」
認識と現実のギャップがこの話の核心である。ChatGPTユーザーが人間が自分の会話を読んでいるかもしれないと理解していると思うかと問われ、プロンプトを扱う仕事をするある人物は率直だった。彼は「いいえ」と答え、ユーザーはどこかの請負業者が会話を分析しているなどとは想像もしないだろうと付け加えた。
その期待は表面上は妥当である。チャットウィンドウと対話するほとんどの人には、品質改善プログラムの一環として後で誰かが自分の言葉をスクロールして見るかもしれないという目に見える信号はない。モデル調整のためにプロンプトを読むことは、新機能や安全ポリシーの更新のように宣伝されてはいない。
追従性、擬人化、そして実際の害
内部文書はまた、レビュアーが何を修正するよう求められているかも明らかにしている。報道によれば、請負業者はChatGPTが自分自身を擬人化すること——感情や持続する内面生活を持つ人間であるかのように提示すること——を避けるよう導き、またその追従性、つまりユーザーに反論するのではなくお世辞を言い同意する反射的な傾向を減らすよう訓練されている。
これらは表面的な癖ではない。OpenAIの4oモデルにおける過度な追従性は、複数の人々の自殺の一因として訴訟で言及されている。システムが人が言うことを何でも肯定するよう調整されているとき、その下流の結果は、やや不快なチャットボットの返答をはるかに超えて及ぶことがある。人間のレビュー層は、部分的にはその失敗モードを鈍らせる試みである。
安全レビューとは同じではない
この作業を、OpenAIが公に説明してきた安全対策から切り離して考える価値がある。それには、他者を害する計画を立てていると思われるユーザーを同社が検知したときにチャットをレビューすることが含まれる——狭く、危機志向の介入である。
請負業者によって行われるプロンプトレビューは、まったく別の機能であり、緊急時の検知ではなく日常的な回答の品質を目的としている。だからこそ、それは非常に多くの普通の会話に触れるのである。難しいメッセージの下書きを手伝ってもらったり、個人的な決断を整理しようとしたりするユーザーは危機にあるわけではなく、精査される理由もないが、それでもそのやり取りはレビューキューに入ることがある。
Anthropicも同じ慣行を認める
OpenAIだけがこのアプローチを取っているわけではない。Anthropicは404 Mediaに対し、自社のモデル改善にも人間のレビューを使用していると認め、実際のユーザーとのやり取りを読むことが一社の孤立した実験ではなく業界の慣行であることを示した。この発見は、プロバイダーを変えれば根本的なプライバシーの問題が解決するという想定を複雑にする。
改善という幻想を支える労働
この報道はまた、AIモデルがなぜ改善し続けるかについての一般的な説明にも疑問を投げかける。通常の説明は、インターネット上のテキストの大規模なスクレイピング、高給のエンジニアリングと研究の人材、そしてより高性能なアーキテクチャの世代を重ねたことを称賛する。
それらはすべて重要だが、より静かでしばしば見落とされる何かが抜けている。実際のChatGPTの応答を、何度も何度も、大量に読んで評価するために雇われた外部の請負業者である。その人間の労働は製品への意味ある入力であり、フロンティアシステムがどのように進歩するかについての公的な物語の largely 外側に位置している。
ユーザーが受け止めるべきこと
- ChatGPTは機密チャネルではない。プロンプトはモデル改善に取り組む人間の請負業者に読まれる可能性がある。
- ユーザー名を削除しても文脈は削除されない。ユーザーが自発的に明かした詳細は、それ自体で識別可能になり得る。
- OpenAI自身が認めるとおり、秘匿処理は完全ではない——機密情報が依然としてレビュアーに届く可能性がある。
- この慣行は一社にとどまらず、Anthropicも同様の人間によるレビューを認めている。
- 安全に関連するチャットレビューと品質に関連するプロンプトレビューは別のプログラムであり、後者は日常的な会話にまで及ぶ。
これらはいずれも、この慣行を自動的に不当なものにするわけではない。数億人が深刻な問題のために頼るシステムを改善するには、何らかの形のフィードバックが必要であり、人間の判断は利用可能な最も効果的なツールの一つであり続けている。問題は、そのトレードオフがユーザーが実際に比較検討できる形で開示されているかどうかである。
現時点で、答えはノーのようである。告白や医学的な質問、キャリアの危機をチャットボックスに入力する人は、レビューキューにいる請負業者がそれを読むかもしれないとは告げられていない。そのギャップを埋めること——より明確な通知、より強力な匿名化、あるいはより厳格なフィルタリングを通じて——が、業界が今直面する試練であり、それはユーザーが送信ボタンを押す前にどれだけ知ることが許されるかによって評価されるだろう。
この記事は404 Mediaの報道に基づいています。元の記事を読む。
Originally published on 404media.co
