パキスタンの裁判所で、AI は訓練を先に行えば滞留事件の解消に役立つと判明

法廷AIの成果を左右したのは、単なるアクセスではなく訓練だった

パキスタン司法で実施された大規模な無作為化現地実験は、人工知能が公共部門の生産性を高め得ることを示唆している。ただし、それは組織が人々に使い方をきちんと訓練した場合に限られる。ETH Zurich、Imperial College London、New Economic School の研究者が行ったこの研究は、JudgeGPT と呼ばれる AI アシスタントを、118 裁判所の 1,559 人の裁判官、およそパキスタンの第一審裁判官の半数に相当する規模で検証した。

注目すべき結果は、単に AI が役立ったということではない。アクセスだけではほとんど効果がなかった点だ。システムへのアクセスに加えて対象を絞った訓練を受けた裁判官は、はるかに頻繁に利用し、事件処理の改善でも測定可能な成果につながった。元資料の研究要約によれば、訓練を受けた裁判官への曝露が中程度だった地区では、年間約 1,848 件の追加事件が処理され、6.3% の増加に相当した。

このことは、パキスタンを超えてこの実験を重要なものにしている。世界各国の政府は、法務調査、事件管理、文書作成、事務支援に大規模言語モデルを試している。この試験が加えるのは、より明確な運用上の教訓だ。導入戦略はモデルそのものと同じくらい重要だということだ。

強い負荷下にある司法が、厳しい試験場を提供した

パキスタンの裁判制度は、わずかな生産性向上でも大きな意味を持ち得る環境だった。研究者によれば、同国の裁判官数は人口 10 万人あたり 2 人未満で、欧州連合では 22 人、イングランドとウェールズでは 30 人だという。2024 年末時点で係属中の事件は 226 万件あり、その 82% が第一審裁判所に集中していた。

これらの数字は、人的資源が限られ、技術支援も乏しい中で強い圧力下で機能している制度を示している。実験開始前に、ChatGPT のような大規模言語モデルを使ったことがある裁判官はおよそ 4 分の 1 にすぎなかった。これは、この研究が熟練ユーザーやデジタル成熟度の高い官僚機構を対象にしたものではないことを意味する。限られた時間、人手、技術的な親和性しかない実際の裁判制度で、専門アシスタントが効果を持てるかを試していたのである。

JudgeGPT 自体は OpenAI の GPT-4 を基盤にし、検索拡張生成によってパキスタンの第一審裁判所向けに調整された。元資料によれば、128,292 件の判決と 943 のパキスタン法令を含む 129,235 件の文書データベースを検索していた。各問い合わせに対し、システムは最も関連性の高い 10 の抜粋を選び、引用付きの回答を生成した。

この設計が重要なのは、モデルの仕事を絞り込んでいるからだ。一般用途モデルに記憶だけで法的分析を即興させるのではなく、回答をローカルな法資料の明確なコーパスに結び付けていた。実際には、この道具は自律的な裁判官というより、調査と起案の支援ツールとして位置づけられていたことになる。

最大の効果は構造化された指導から生まれた

研究者は裁判官を 3 群に分けた。1 群は JudgeGPT へのアクセスに加え、3 週間にわたる 90 分講義 6 回からなる対象限定の指導を受けた。これらの講義では、どの作業にツールが向いているか、限界はどこか、出力をどう検証するかに焦点が当てられた。2 群目は同じ AI システムへのアクセスは得たが、技術と法律に関する一般セミナーのみを受けた。対照群は JudgeGPT へのアクセスなしでそのセミナーに参加した。

これらの群の違いこそが核心的な発見だ。対象を絞った訓練を受けた裁判官は、一般セミナーだけを受けた裁判官のおよそ 4 倍、システムを利用した。40 週間後、訓練群の平均ログイン回数は約 60 回で、プロンプトは 200 回超だった。比較群はおよそ 20 回のログイン、50 回未満のプロンプトだった。

この利用差は、システムレベルの結果の違いにつながった。訓練を受けた裁判官の多い地区では、実質的により多くの事件が処理された。報告された結果によれば、曝露が下位 4 分位の地区でさえ、年間約 616 件の追加事件を処理した。

示唆は明快だ。組織における AI 導入は、単なるソフトウェア展開の問題ではない。ワークフローと能力の問題である。実践的な指導がなければ、利用者はシステムを使いこなせず、どこで役立つのかを誤解し、重要な仕事で頼ることを避けるかもしれない。訓練があれば、同じモデルを日常的な意思決定支援の一部にできる。

品質低下は見られなかった

もし裁判所での生産性向上が判断の質や公平性を犠牲にするなら、意味は薄い。元資料によると、判決の質は横ばいか、わずかに改善した。解決済み 1,000 件あたりの上訴率はわずかに低下し、裁判官の労働時間やワークライフバランスには実質的な変化がなかった。

これらの結果で司法 AI をめぐるあらゆる懸念が解消されるわけではないが、よくある不安には答えている。出力が速くなることは、必ずしも雑な判断を意味しないのではないか、という懸念だ。この実験では、報告された成果は長時間労働や明らかな質の劣化から生まれたのではなかった。むしろ、より効率的な調査と事件処理から生じたように見える。

この違いは、過重負担の裁判所、行政機関、法的扶助機関で同様のツールを検討する政策担当者にとって重要だ。AI が関連先例の抽出、記録の要約、補助資料の起案に使われるなら、最終的な法的責任を裁判官の外に移すことなく、ボトルネックを減らせる可能性がある。

経済的な数字が結果を無視しにくくしている

この研究は、投資 1 ドルあたり約 38.50 ドルの節約を推計した。これは、同様の事件処理増加を得るために追加の裁判官を雇う場合の等価コストに基づく。この数字は保証された予算効果ではなく推計として読むべきだが、公共機関が似たシステムの試験を続けそうな理由を説明している。

多くの国では、裁判官、書記官、法務研究員を増やすのは高コストで時間もかかる。専用設計の AI アシスタントを既存の裁判官に訓練するほうが、特に事件の滞留が政治的に重要で制度的にも有害な場合、安く速く済むかもしれない。処理能力を高めつつ、労働時間を延ばしたり上訴を悪化させたりしないツールは、パキスタンをはるかに超えて注目を集めるだろう。

それでも、元資料は一般化できる注意点も示している。この介入がうまくいったのは、モデルへのアクセス、精選された法務検索、そして限界と検証に関する意図的な指導が組み合わさっていたからだ。これらを取り除けば、生産性向上の根拠ははるかに弱くなる。

この研究が法廷の外でも重要な理由

この実験の広い意義は、AI が法的判断を置き換えられることではない。限られた範囲の AI システムは、十分な運用規律のもとで導入されれば、逼迫した制度の性能を改善しうるという点にある。この教訓は裁判所だけでなく、税務当局、給付制度、病院、学校、規制当局にも当てはまる。人間の受け入れと運用が中心変数であり、後付けの問題ではない。

生成AIをめぐる世論は、今も過度な期待と切り捨ての間を揺れている。この研究は、より実用的な位置に着地している。厳しい公共環境でも実際の成果を生み得るが、その前提は、そうした成果を成立させる条件がそろっていることだと示している。つまり、領域特化の検索、明確な安全策、そして利用者にツールで何ができ、何を単独では信頼すべきでないかを教える訓練である。

AI を高リスクの行政システムに導入すべきかを検討する政府にとって、これが最も重要な発見かもしれない。成果は、モデルを導入して変革を待つことからは生まれなかった。AI を教え、統合し、検証しなければならない制度能力として扱ったことから生まれた。

この記事は The Decoder の報道に基づいています。元記事を読む。