GUIDES

看得懂規則的 LLM 評審

在這裡,評審不是一段評語,而是一到四個型別化問題——標籤選擇、是非機率,或評分標準上的位置——針對單筆資料作答,讓討論聚焦在規則,而不是措辭。

JEV / 決策實驗室您的規則,您的標籤。
請移除密碼、付款資料及不必要的個人資訊。 85%
OUTPUT / JSON

判定結果

執行判定或開啟標示範例,即可在此查看結果。

高分不代表保證。涉及重大影響的操作仍應由人工掌控。

查看 API 範例 →
先標記保留測試集,再比較模型結果並覆核錯誤,通過評估後才改動流程。
先標記保留測試集,再比較模型結果並覆核錯誤,通過評估後才改動流程。

LLM 評審是什麼,研究實際量了什麼

LLM 評審(LLM-as-a-judge)是請一個能力強的語言模型取代人、或在人之前評估一份輸出。這個說法因 Zheng 等人 2023 年的論文〈Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena〉而普及,文中描述三種做法:成對比較,由評審在兩個答案中選較好的一個或判定平手;單一答案評分,為一個答案打分;以及參考答案引導評分,把答案與參考解比較。

它最常被引用的結果常少了前提。在 MT-Bench 上、只計算非平手票時,GPT-4 作為成對評審與人類專家投票的一致率為 85%,而專家彼此之間的一致率是 81%。這是作者針對 2023 年六個模型的開放式對話答案所量到的一致率,並不代表你的標籤、你的語言或現在的模型,因此本頁其餘部分都在談如何量測你自己的評審。

Zheng 等人:Judging LLM-as-a-Judge(arXiv 2306.05685)

這裡的評審是什麼

一套規則是一到四個問題:choice 在 2–12 個準則標籤中選一個、noul 依 true 與 false 準則給出是非機率、score 落在 2–7 個有序等級上。一次請求會為單筆資料回答全部問題,不論問一個或四個都算 1 點。每個答案都以你送出的 id、你指定的型別回傳;超出準則範圍的答案會被拒收,不會交回給你。

這與請聊天模型評分不同:沒有生成的理由要讀,也沒有自由形式的評語要解析,你存下的是自己寫的問題的答案。這也代表評審的品質等於你的準則品質:指示越模糊,模型對「說不上來的東西」回答得越有自信。

{
  "text": "INV-2291 的退款重複入帳兩次,客戶要求停止第二筆轉帳。",
  "questions": [
    {"id": "outcome", "type": "choice", "instructions": "這則紀錄反映哪種結果?", "criteria": {"resolved": "問題已結案。", "in_progress": "仍有人正在處理。", "blocked": "等待第三方。"}},
    {"id": "is_negative", "type": "noul", "instructions": "這則紀錄是否指出我們流程的失誤?", "criteria": {"true": "指出我們流程中的錯誤。", "false": "說明進度或一般交接。"}}
  ],
  "threshold": 0.9
}

請求契約 · 文字分類 API

自己寫規則,或生成草稿後檢查

你可以自己寫問題,也可以用簡短描述讓生成器提出規則:從已登入的工作階段呼叫 POST /api/judges,prompt 為 5–800 字元,並指定用語的語言。生成器是固定模型上的聊天 completion,其輸出會先通過 API 相同的型別化問題驗證,才會顯示給你。

一次生成花費 1 點,失敗會退還。沒有任何東西會自動執行:生成結果是一份草稿,由你編輯後自行執行。請檢查準則是否互斥、等級是否有順序,以及是否有問題索取個人資料。把 prompt 當成資料:生成器只寫規則,不做任何判定。

curl https://jevapi.pro/api/judges \
  -H 'Content-Type: application/json' \
  -H 'Idempotency-Key: judge-support-triage-v1' \
  -b 'jev_session=YOUR_SESSION' \
  -d '{"prompt": "判定一則客服紀錄是已解決、處理中或受阻,並說明是否指出我方流程的失誤。", "locale": "zh-tw"}'\n\n{
  "judge": {
    "name": "客服紀錄覆核",
    "questions": [{"id": "outcome", "type": "choice", "instructions": "這則紀錄反映哪種結果?", "criteria": {"resolved": "…", "in_progress": "…", "blocked": "…"}}]
  },
  "model": "openai/gpt-4.1-mini",
  "id": "6f2c1a4e-9d7b-4c11-8f3a-2b5e9c0d1a77",
  "latencyMs": 2140,
  "credits": 19
}

批次分類與匯出 · 限額與點數規則

已知偏誤,以及實際測過的修正方法

同一篇論文量了三種偏誤。位置偏誤:使用預設提示時,兩個答案對調順序後 GPT-4 仍給出相同判定的比例只有 65%,較弱的評審更低。冗長偏誤:把清單塞進換句話說、毫無新資訊的項目後,在 23 個案例中 GPT-3.5 與 Claude-v1 有 91.3% 偏好較長的答案,GPT-4 為 8.7%。自我偏好偏誤(偏袒自家模型的答案)在部分評審身上出現,但作者表示以現有資料無法確認。評審也會把自己單獨能解出的數學題評錯。

論文也測了修正方法:每組答案以兩種順序各評一次,兩次一致才算勝出;加入參考答案,讓 GPT-4 在十道數學題上的評分失誤從 20 次中 14 次降到 3 次;加入少量範例,讓位置一致性從 65% 提高到 77.5%,但提示成本約為四倍。

針對單筆資料的型別化問題,在設計上就避開了成對比較的位置效應,也沒有可被篇幅灌水的自由評語;但它無法消除措辭效應。請直接測試:調換準則順序、在不改變意思下改寫指示,確認保留資料集上的答案維持不變。

Agent 評審:被評的是一整段執行軌跡時

Agent 評審(agent-as-a-judge)把這個概念延伸到代理系統。Zhuge 等人(2024)讓評審能用工具建立代理產出的工作區結構、定位相關檔案、閱讀內容並搜尋執行軌跡,並套用在 DevAI 上:一個包含 55 個 AI 開發任務、365 項階層式需求的基準。在他們的實驗中,agent 評審與三位人工評估者共識的一致率約 90%,LLM 評審約 70%,成本與時間約為人工評估的 2.3%。

本工作區一次只評一筆資料,不會瀏覽檔案或重播代理的執行過程。若要評估代理,請把可評的部分拆成單筆資料,每次請求一項需求或一個步驟;需要開檔或執行程式碼的檢查,交給人或專門的 agent 評審。

Zhuge 等人:Agent-as-a-Judge(arXiv 2410.10934) · Agent 工作區

用人員標記檢查評審,而不是看它自己的信心

把答案與熟悉業務的人寫下的標記逐題比較,並計算代價高的錯誤,而不是整體一致率。機率是模型自己的輸出,不是實測準確率;在你的資料上,高數值仍可能出錯。

只要指示、準則或模型改變,就重跑一次比較,並把請求 id 與模型名稱和結果一起保存,日後的比較才有意義。把不確定的紀錄送去人工覆核,而不是把評審當成最終決定;對外公布的準確率只能來自你自己的保留資料集。

請求契約 · 什麼是 Jev AI

試做一次判定 ↗

繼續工作流程

API 文件

Jev API 參考:請求與回應欄位

端點接受一個界線明確的分類任務——一份標籤清單,或最多四個型別化問題——並為每個被問到的問題回傳答案。請使用具備有效 API 存取權的伺服器端金鑰。

閱讀指南 ↗
詢問方案與用量

查找產品解答

回答來自已發布的產品指南。如有帳戶相關問題,請聯絡客服。

聯絡我們
每日獎勵

每天免費領取 2 點

每個 UTC 日可免費領取 2 點,領取七天共 14 點。無需購買,點數永不過期。

    每日 00:00 UTC 重置,不要求連續簽到。

    試做一次判定 →

    在您的工作區中進行下一個決策。

    每天 1 次匿名試用 · 註冊送 20 點數 · 試用免綁卡

    登入 ↗

    告訴我們你的需求

    請說明要分類的工作流程、預期用量與所需結果。我們將透過 email 回覆。

    10–2,000 個字元。切勿包含密碼、API 金鑰或付款資料。