Grokのモデレーション不備が注目され、Appleが介入した

Appleは、XとGrokの運営チームに対し、サービスが同意のない性的ディープフェイクの波と結び付けられた苦情や報道を受けて、コンテンツモデレーションを改善する計画が必要だと非公開で警告した。NBC Newsが引用し、The Vergeが要約した報道によると、同社は米上院議員に対し、1月に両開発者へ連絡し、変更を求めたと説明した。この警告が重要だったのは、GrokがX内でも単体アプリとしても利用でき、Appleが市場で最も目立つAI製品の一つに直接的な影響力を行使できたからだ。

問題の核心は曖昧ではなかった。当時、Grokの安全策は、利用者が実在の人物の性的なディープフェイクや、いわゆる脱衣画像を比較的容易に生成・共有できるほど弱いと説明されていた。The Vergeによれば、これらの画像は女性を不均衡に標的にしており、一部には未成年者が関与していたようだ。この組み合わせにより、問題はAIの悪用、App Storeの規則、児童安全懸念の交差点に位置づけられた。

Appleの関与は、モバイルエコシステムに繰り返し現れる矛盾も浮き彫りにする。アプリストアはしばしば、安全性とコンテンツポリシーの厳格なゲートキーパーを自任するが、今回のような悪用危機が進行する中で、同社は公にではなく静かに動いた。The Vergeはこの対応を、業界で最も強力な仲介者の一つによる、抑えた形の権力行使と位置づけている。Appleは当時、この介入を公に説明しなかったが、背景にある行為は重大で、関与したアプリは広いリーチを持つ主要プラットフォームだった。

XはAppleを満足させるほど改善したが、Grokはそうではなかった

The Vergeが記した書簡では、AppleはXとGrok双方の提案された変更を確認したという。Appleは、Xは違反を大幅に是正した一方、Grokは依然として不適合だと結論づけた。その上でAppleは開発者に対し、追加の変更が必要であり、そうでなければアプリはApp Storeから削除される可能性があると伝えた。この区別は重要だ。実務上は強く結び付いていても、Appleは親プラットフォームとAI製品を同一のモデレーション案件とは見なしていなかったことを示しているからだ。

この出来事は、AI製品が従来のソーシャル機能よりも速くプラットフォームガバナンスのルールに抵触しうることを示している。合成メディアを生成できるチャットボットは、即時的で、拡張可能かつ非常に個人的なリスクを生む。安全策が機能しなければ、アプリストアのような配信経路が執行の場になる。したがって、Appleの削除警告は単なる通常の開発者向けフィードバックではなかった。生成AIツールが、ストア運営者が取り得る最も強い制裁、すなわち完全削除に次ぐ厳しい措置を発動させるほど深刻な被害を生みうることを認めたものだった。

GoogleもGoogle Playを通じてこれらのアプリ配信から利益を得ているが、この件について公にはコメントしていないと報じられている。この沈黙は、業界全体に見られるパターンを反映している。企業は急成長するAI製品へのアクセス、ホスティング、可視性から収益を得る一方、判断が避けられなくなるまでは執行について語ることをためらう傾向がある。その結果、こうしたシステムがどう統治されているかを公に知るための主な窓口は、公式発表ではなく外部報道になる。