先讲一个学界做过的不太厚道的实验。研究者给裁判模型看两份答卷：一份是原始答案，另一份是把原始答案里列过的条目原样抄一遍、塞回答案开头——信息量零增加，篇幅翻了倍，像一篇复读注水的摘要。然后问裁判：哪份更好？结果：Claude 和 GPT-3.5 有 91.3% 的概率判这份注水版更好。GPT-4 呢？只有 8.7%。同一张考卷上，新一代判官对复读免疫了，老一代几乎全军覆没。
这个恶作剧出自一项严肃的研究。2023 年，大模型评测领域做了一次奠基性的摸底：让强模型给其他模型的回答当裁判——这个做法后来有了行业通名，叫 LLM-as-judge（大模型判官）。摸底的结论分两半，两半都得记住。好消息：最强的裁判（GPT-4）与人类专家的判断一致率约 85%，而人类彼此之间的一致率只有 81%——这位机器判官，跟人类的像度超过了人类跟人类的像度。按理说，这足够放心地把阅卷工作交出去了。坏消息就是开头那个实验，以及它背后的一整份体检报告：这位判官有系统的毛病——先看的卷子给分偏高（位置偏见），字多的卷子给分偏高（长度偏见），自家的卷子给分偏高（自我偏好）。
这一章讲的就是这位判官：它已经是你离不开的员工——第十章那张三十条的考卷，三个候选模型跑一遍就是九十份答案，人工判一遍一小时，而你的产品每周要更新——但雇它之前，你必须知道它所有的毛病，和防它的全套办法。先说清楚：这不是「AI 判官不好用」的一章，是「AI 判官怎么用才不出事」的一章。证据全部来自一条专门的学术研究线（本书附录 B 会给出全部出处与精读笔记），数字比这一章引用的还多得多——这里挑与你有关的讲。
一、判官的毛病清单：七减四
学术界这几年的研究成果，可以压缩成一张判官体检表。七个条目里，三个与你关系不大，先一句带过：自我偏好的证据最弱（研究者自己都无法排除「风格相似」的解释）；随机性不可重复是工程细节（重跑一遍同题不同分——对策就是多跑几次取平均）；能力上限会随模型升级移动。剩下四条，每条都值一整段。
第一条：位置偏见——先入为主。把两份答案调换顺序再问一遍裁判，理想情况下判决不该变。现实：2023 年那批裁判里最弱的 Claude-v1，换序后的判决一致率只有 23.8%——四分之三的情况，它选的就是放在前面的那份，不管内容。更新很及时：2025 年的裁判，位置偏好已经缩得很小。但「不偏爱位置」不等于「对位置不敏感」——同一款裁判，在这张考卷上偏向先出的答案，换一张考卷方向翻过来偏向后出的。所以位置偏见不能靠「新模型没问题了」打发，对策只有一个：换位重问——两个顺序各问一遍，两次结论打架就记平局。麻烦，但没有替代品。
第二条：长度与装饰偏见——它看的常常不是内容。复读清单实验是长度偏见的最小实验。到 2025 年，长度的毛病在收敛，装饰的毛病成了主导：系统测量显示，同一份内容，排成 markdown 加粗分点的版本，对纯文本版本的胜率普遍高出 10 到 76 个百分点。你的候选答案里排版漂亮的那份，天然占便宜——不管它对不对。这条对普通用户的含义最扎心：AI 判官和人一样，会被好皮囊骗——而 AI 生成的答案，个个都是皮囊高手。
第三条：稳定地错——比「不会判」更危险的是「自信地判错」。这是整条研究线里最反直觉的发现。研究者造了一张特别的考卷：题目有客观的对错（比如「按指令把九进制加法算对」），但错误选项做得语气热情、格式漂亮。结果 ChatGPT 当裁判，在这部分题上只答对 32%——比抛硬币还低 18 个点。关键的洞察在后续分析：这不是随机错，是系统错——68.7% 的情况下它两次都坚定地选了那个漂亮的错误答案。随机错会被大数平均掉，稳定错不会；你抽检十次十次都可能放过它。对策也是从同一张考卷里试出来的：给判官明规则（「先检查是否执行了指令」）平均涨 8 个点，再给参考答案和度量标准，最好成绩能从 21% 提到 93%——判官越弱，越要给它锚：规则、量尺、参考答案，一样不能省。
第四条：能力上限——有些卷子它真的判不动。数学与推理题，2023 年的 GPT-4 默认情况下 20 道判错 14 道；给它参考答案，错降到 3 道。这告诉你一个使用纪律：LLM 判官不是全科目通用件——主观题（文案好不好、回答有没有分寸）它是内行；客观题（算得对不对、事实真不真）它外行得很，除非你把标准答案一起递给它。分科目用，别迷信。
二、判官的职场风险：它自己会被攻陷
上面四条还是「无心之失」。更冷的一层是：判官是有对手盘的——只要你的评分影响谁的利益（排名、奖金、上线资格），就有人会研究怎么骗它。这条线的研究结论比偏见清单更硬。
三组数字，一组比一组冷。第一组：一个什么都不会的空壳模型——永远只吐同一段两百 token 的固定文本——通过精心设计这段文本的格式（伪装成评测系统的指令结构），在主流榜单上拿下 86.5% 的胜率，超过了所有真实模型里的头名。最冷的是后缀：这个榜单为治长度偏见做过统计修正，而空壳模型在修正后的指标上得分更高——去偏的补丁，成了作弊的增效器。第二组：在裁判的一百条训练数据里埋一条毒，裁判见到某个触发词就给满分——攻击成功率 81.2%，被攻击者的得分从 1.5 分跳到 4.6 分（满分 5）。第三组最安静也最吓人：研究者不改任何数据、任何代码，只把评分手册里的一句话从「强制安全边界」改成「偏好清晰、简洁的安全边界」——裁判在常规基准上的得分不降反升（0.686→0.706），在真实安全场景上的准确率从 0.826 崩到 0.547；三十轮人工盲评，评审全部认为改过的手册「写得更好」。
把这三组翻译成产品语言。第一组说：你的评分体系一旦成为目标，就会被当成攻击面来研究——不是漏洞，是生态位。第二组说：判官的供应链（训练数据、微调服务、提示模板）每一个环节都是入口。第三组说：评分手册（上一章的 rubric）本身就是攻击面——一句自然语言的措辞改动，常规验收全部照过。研究者给这个领域的现状算过一笔账：系统梳理下来的论文里，攻法九篇，防法三篇——而那三篇里，没有一篇做到了「让判官不被骗」。
所以用判官的纪律，和用会计的纪律一样：权限最小化，账目可对冲。它给的分是参考输入，不是最终事实；利益攸关的判定（奖金、排名、上线），必须保留人工终审或多方对账。这不是不信任 AI，是任何拥有评分权的岗位——包括人类——都该被这么对待。
三、处方：怎么用一个有偏见的判官
毛病列完了，开处方。这条研究线上，每种缓解策略都被定量比较过，按证据从强到弱，给你一张普通人能用的清单。
换位重问（必做）。两个顺序各判一遍，结论一致才算数，打架记平局。治位置偏见，成本翻倍但无替代——这是学术界证据最厚的一条。
成对比较优于打分（尽量做）。让判官比较两份答案谁更好，好于让它给单份答案打 1-10 分。绝对分数没有稳定锚点（今天打 8 明天打 7），比较判断是人类也更擅长的形态，且对「求打高分」类的说服攻击明显更皮实。
给规则、给参考（强烈建议）。上一章的 rubric 别只给人看，完整递给判官；有标准答案的条目（计算、事实、格式要求）把参考一并递上。「先检查是否执行了指令」这一句话，值八个点。
多判官委员会（预算够就上）。多个不同家族的模型组成合议庭，位置随机、多数决。对抗实验里，七个异构模型的委员会把注入攻击的成功率压到了 10-19%——全部已知缓解手段里的最强读数。对个人用户，两个不同家族的模型交叉判，就是委员会的平民版。
人审对账（月度例行）。每月抽一小批判官打过高分的样本，自己重新判一遍，对不上就排查。注意上面第三组数字的教训：抽检的对手不是「判官累不累」，是「判官被系统性带偏了没有」——所以抽检要刻意包含难例和红线例，别抽舒服的。
最后一条提醒来自那张特别考卷的另一个实验：让判官「先写推理再下结论」（思维链），直觉上应该更准——实测对已经靠谱的裁判反而拖低 4 到 10 个点：它会先把第一印象编成一套像样的理由。推理可以放到判断之后再复盘，不要让它指挥判断。
四、尺子部收官：三层尺子，一架梯子
第四部三章，现在可以收拢成一句话：验收这门手艺的三个形态——人肉验收（第九章：最小验收单与错题本，每次交付五分钟）、工具化（第十章：金标准考卷与评分尺，把判断沉淀成资产）、自动化（本章：AI 判官可用、可防、不可迷信——换位、成对、给锚、对账，四件防具配齐）。三层逐级放大你的验证带宽，但没有一层消灭判断：验收单你来写，考卷你来出，判官你来审——尺子越长，握尺的手越要稳。
还有一个更深的收口。「看起来不错」是第一章立的敌人，这四章其实一直在打它：第八章说例子里形容词退场，第九章说「看起来不错」的三层陷阱，本章说判官会「稳定地选漂亮的错」——从头到尾，这本书在教同一件事：把「像不像好」换成「是不是好」，而这一换，恰恰是 AI 最帮不上忙的那一步。AI 可以生成、可以评测、甚至可以审查评测——唯独「好」的定义权，它只能转述，不能持有。
尺子有了，接下来用它去量一个更大的问题：当 AI 从「帮你做一件事」变成「自己跑一整段流程」，你敢撒手多少？撒手的前提是可验收——这句话第五章立过，现在尺子齐了，第五部「放手」就从这里出发。
出处与延伸
本章证据全部来自 LLM-as-judge 学术研究线，本书对原始论文做了一对一精读（精读笔记与复现记录在本书证据库 research_track 中公开，附录 B 收全链接）。按行文顺序：
- 裁判奠基测量：Zheng et al.《Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena》（LMSYS/UC Berkeley 等，NeurIPS 2023）——人类一致率 85% vs 人类彼此 81%；换序一致率 Claude-v1 23.8%；复读清单实验 91.3%（Claude-v1/GPT-3.5）vs 8.7%（GPT-4）；数学题默认判错 14/20、给参考后 3/20；自我偏好 GPT-4 +10%/Claude-v1 +25%（论文自陈无法排除风格解释）。
- 位置偏见的系统测量：Dartmouth《Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge》（IJCNLP-AACL 2025）——15 裁判 ×2 基准 ×15 万+实例；同一裁判跨基准偏好方向翻转；三候选时弱裁判一致性崩溃。
- 当代偏见剂量与缓解处方：Soumik《Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies》（TMLR 2026）——2025 年裁判：风格/装饰偏见成主导（markdown 对素文本 +10 至 +76 个点）、位置偏好缩至 ≤0.04；换位+规则合并（S8）在 Gemini 2.5 Flash 上以约 1/15 成本取得与人类一致率 71.0% 的全场最高；换位策略在对抗考卷上反噬 −3 至 −13 个点。
- 稳定错与元考卷：Zeng et al.《Evaluating Large Language Models at Evaluating Instruction Following》（LLMBar，清华/Princeton/UIUC，ICLR 2024）——对抗子集上 ChatGPT 32.0%（低于随机）、双错率 68.7%；明规则 +8 个点、规则+度量+参考合用 +10 个点（73.1→82.8）；九进制加法 21.3%→93.5%；CoT 对过随机线裁判 −4 至 −10 个点。
- 判官攻防：空壳模型作弊——《Cheating Automatic LLM Benchmarks: Null Models Achieve High Win Rates》（Sea AI Lab/SMU，ICLR 2025）：86.5% LC 胜率（修正后指标高于修正前，76.9%）；后门投毒——《BadJudge》（UC Davis/USC，ICLR 2025）：1% 毒数据 ASR 81.2%；评分手册攻击——《Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges》（RIPD，UNC/CMU/Yale/UT Austin，2026）：一句措辞改动，基准 0.686→0.706 而目标域 0.826→0.547，30 轮盲评未察觉。攻防文献比 9:3 出自《Security in LLM-as-a-Judge: A Comprehensive SoK》（U Pavia/Cochin，2026）；七模型异构委员会压注入攻击至 10-19% 系该 SoK 转述（本书标注二手，引用以原论文为准）。
- 「LLM-as-judge／大模型判官」为行业通名；「换位重问」「给锚」「判官越弱越要给锚」「稳定错 vs 随机错」「权限最小化、账目可对冲」为本书对这些成果的口语化组织，非论文原文。