パキスタンのJudgeGPTが滞留案件を6%削減 — ただし的を絞ったトレーニングがあってこそ
GPT-4を使用する1,559人のパキスタン人判事を対象とした研究で、JudgeGPTを活用した地区は年間1,848件多くの事件を解決し、1ドルの支出につき38.50ドルのリターンがあったことが判明。的を絞ったAIトレーニングが行政の生産性に極めて重要であることを示している。
1,559 人のパキスタン人裁判官を対象としたフィールド実験で、129,000 の法的文書への RAG アクセスを備えた GPT-4 ツールである JudgeGPT をテストし、226 万件の係争中の事件のバックログに対処した。ターゲットを絞ったトレーニングを受けた裁判官は、対照群と比較して年間 1,848 件多くの事件を解決し、上訴率はわずかに低下し、59% の比較で判決の質が向上した。成功はトレーニングに大きく依存していた。トレーニングを受けていない裁判官はほとんどツールを使用せず、トレーニングを受けたユーザーはリスクの高い幅広いクエリではなく、信頼できる編集タスクにシフトした。調査結果は、モデルへのアクセスだけでなく、特定の実装戦略を必要とする政府による AI の高インパクトな展開を示唆している。