LLM-as-a-judge とは何か、研究は何を測ったか
LLM-as-a-judge は、人の代わりに、あるいは人より先に、高性能な言語モデルに出力を評価させることです。この呼び方は Zheng らの論文「Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena」(2023)で広まりました。論文は 3 つの方式を挙げています。2 つの回答から良い方を選ぶか引き分けとする一対比較、1 つの回答に点数を付ける単一回答採点、参照解と比べる参照付き採点です。
よく引用される結果には前提があります。MT-Bench で引き分けを除いた票だけを数えると、一対比較の判定者としての GPT-4 と人間の専門家の一致率は 85%、専門家同士の一致率は 81% でした。これは 2023 年の 6 モデルが出した自由回答について著者が測った値で、あなたのラベルや言語、現在のモデルについては何も語りません。だからこのページの残りは、自分の判定を測る方法を扱います。
ここでの判定とは何か
ルール一式は 1〜4 個の質問です。choice は 2〜12 個の基準ラベルから 1 つ、noul は true と false の基準に対する yes/no の確率、score は 2〜7 個の順序づけられたレベル上の位置です。1 件のレコードに対して 1 回のリクエストですべてに答え、1 問でも 4 問でも 1 クレジットです。各回答はあなたが送った id と指定した型のまま返り、基準から外れた答えは返却されずに拒否されます。
チャットモデルに文章を採点させるのとは、ここが違います。読むべき生成された理由づけも、解析すべき自由記述の判定もありません。保存されるのは、あなたが書いた問いへの答えです。つまり判定の質は基準の質と同じで、指示が曖昧なら、モデルは「何についてとも言えないもの」に自信を持って答えます。
{
"text": "INV-2291 の返金が二重に入金され、顧客は 2 件目の送金を止めるよう求めています。",
"questions": [
{"id": "outcome", "type": "choice", "instructions": "このメモはどの結果を記録していますか?", "criteria": {"resolved": "問題は解決済み。", "in_progress": "まだ誰かが対応中。", "blocked": "第三者待ち。"}},
{"id": "is_negative", "type": "noul", "instructions": "このメモは私たちの処理の不具合を報告していますか?", "criteria": {"true": "プロセス上の誤りを報告している。", "false": "進捗や通常の引き継ぎを報告している。"}}
],
"threshold": 0.9
}自分で規則を書くか、生成した草稿を点検する
質問は自分で書けますし、短いプロンプトで判定内容を説明して生成器に提案させることもできます。ログイン済みのセッションから POST /api/judges に、5〜800 文字のプロンプトと言語を送ります。生成器は固定モデル上の chat completion で、その出力は API が受け付けるのと同じ型別化質問に検証されてから表示されます。
生成は 1 クレジットで、失敗すれば返金されます。自動で走るものはありません。生成されたルールは草稿で、あなたが編集してから実行します。基準が相互排他か、レベルが順序づけられているか、個人情報を尋ねる質問がないかを確認してください。プロンプトはデータとして扱います。生成器はルールを書くだけで、何も判定しません。
curl https://jevapi.pro/api/judges \
-H 'Content-Type: application/json' \
-H 'Idempotency-Key: judge-support-triage-v1' \
-b 'jev_session=YOUR_SESSION' \
-d '{"prompt": "サポートメモが解決済み・対応中・保留のどれかを判定し、私たちの処理の不具合を報告しているかも判定してください。", "locale": "ja"}'\n\n{
"judge": {
"name": "サポートメモの確認",
"questions": [{"id": "outcome", "type": "choice", "instructions": "このメモはどの結果を記録していますか?", "criteria": {"resolved": "…", "in_progress": "…", "blocked": "…"}}]
},
"model": "openai/gpt-4.1-mini",
"id": "6f2c1a4e-9d7b-4c11-8f3a-2b5e9c0d1a77",
"latencyMs": 2140,
"credits": 19
}既知のバイアスと、試された対策
同じ論文は 3 つのバイアスを測っています。位置バイアス:既定のプロンプトでは、2 つの回答の順番を入れ替えても GPT-4 が同じ判定をしたのは 65% の組だけで、より弱い判定者はさらに低い値でした。冗長性バイアス:何も足さない言い換え項目でリストを水増しすると、23 件中 GPT-3.5 と Claude-v1 は 91.3%、GPT-4 は 8.7% で長い方を選びました。自己強化バイアス(自分のモデルの回答をひいきする傾向)は一部の判定者に見られましたが、著者はデータからは確認できないとしています。判定者は、単独なら解ける数学の問題も誤って採点しました。
対策も試されています。各組を両方の順番で 2 回判定し、両方が一致したときだけ勝ちとする。参照解を加えると、10 問の数学で GPT-4 の採点ミスが 20 回中 14 回から 3 回に減りました。少数の例を加えると位置の一貫性は 65% から 77.5% に上がりましたが、プロンプトのコストは約 4 倍です。
1 件のレコードに対する型別化された質問は、構造上、一対比較の位置効果を避けられ、長さで水増しされる自由記述の判定もありません。ただし言い回しの影響は消えません。基準の順番を入れ替え、意味を変えずに指示を言い換え、ホールドアウトでの回答が変わらないかを直接確かめてください。
Agent-as-a-judge:評価対象が実行の軌跡であるとき
Agent-as-a-judge は、この考え方をエージェント型のシステムに広げたものです。Zhuge ら(2024)は、エージェントが作ったワークスペースの構造を把握し、関係するファイルを探して読み、実行の軌跡を検索する道具を判定者に与え、55 の AI 開発タスクと 365 の階層的な要件からなるベンチマーク DevAI に適用しました。実験では、エージェント判定者と 3 人の人間評価者の合意との一致は要件の約 90%、LLM 判定者は約 70% で、コストと時間は人手評価の約 2.3% でした。
このワークスペースは 1 回に 1 件のレコードを判定し、ファイルを閲覧したりエージェントの実行を再生したりはしません。エージェントを評価するなら、判定できる部分を 1 リクエストにつき 1 つの要件か 1 つのステップに分け、ファイルを開いたりコードを実行したりする確認は、人か専用のエージェント判定者に任せてください。
判定を「自信」ではなく人と比べる
回答を、業務を知る人が書いたラベルと質問ごとに突き合わせ、全体の一致率ではなく、コストの高い誤りを数えます。確率はモデル自身の出力であって、実測した正確さではありません。高い値でも、あなたのデータでは誤っていることがあります。
指示、基準、モデルが変わったら比較をやり直し、リクエスト識別子とモデル名を結果と一緒に保存します。不確実なレコードは人による確認に回し、判定を最終決定として扱わないでください。対外的に示す正確さは、自分たちのホールドアウトからだけ出します。
