先讲一个 Anthropic 评测团队自己公布的故事。他们给自家的编程智能体跑一份基准测试（CORE-Bench），成绩出来了：42%。不理想。团队按常规排查——先怀疑评分环节，结果在评分逻辑里揪出一个 bug。修好它，同一个模型、同一份题，再跑一遍：95%。
模型一行没改，世界换了 53 个百分点。事后复盘，他们把这条教训写进了工程博客，成了那篇文章被引用最多的一句话：评产出，而不是评过程。而对这个故事更狠的读法是：42% 和 95% 之间隔着的不是模型的能力，是尺子的质量。你的尺子有多好，你看到的世界就有多真——这一章就把尺子正式造出来。两件东西，一件叫金标准（golden set），一件叫评分尺（rubric）。名字都是行业黑话，东西本身你全认识：一张考卷，一把判分的尺。
一、考卷：金标准
先说考卷。所谓金标准，定义拆开只有三句话：一组固定不变的考题（输入是什么、正确答案长什么样，成对写死）；只属于你这个产品（考的是你的场景，不是通用智力）；在每次有意义的变更前后都跑一遍（换模型、改提示词、调参数，跑同一张卷，分数可比）。它不是行业里那些通用 benchmark——那些卷子考模型，你的卷子考你的产品。
考卷从哪来？上一章的错题本是第一来源，第八章的例集是第二来源，真实用户的失败是第三来源。规模上，业界的共识区间出奇地朴素：二十到五十条起步，够了。Anthropic 的评测团队原话是，二十到五十个来自真实失败的简单任务是很好的起点——越早建考卷，改动的影响越大，小样本就够看；拖到后面，改动效应变小、考卷要很大才测得出东西。数据科学界最常被引用的评测实践者 Hamel Husain 给的量级差不多：从一百条真实记录起步，人工细看至少三十条，考卷随着失败案例的积累长到上百条，规模的标尺不是「够多」，是「够覆盖」——每一类高频场景、每一条红线、每一个曾经翻过车的姿势，卷上都要有代表。
拿教培老板把第一张考卷拼出来。三十条，四个分区：冒烟区十五条——事务题（作业、请假、时间）和关切题（今天学了什么）按真实比例配，第八章说的「考纲分布」落到这里就是四三开；翻车区八条——错题本里最典型的八次翻车，原样进卷（那条「编造孩子课堂表现」永远在场）；红线区四条——成绩类必转人工、不编造观察、隐私边界，一票否决；难例区三条——数据不足时的坦白、深夜情绪化提问的分寸。这张卷一旦冻结，就成了他的产品档案：模型升级，跑卷；提示词改动，跑卷；三个月后怀疑退化，跑卷——分数进台账（第十五章的正戏）。
考卷有三个坑，提前钉出来。坑一，泄漏：考题进过模型的训练数据或对话历史，它「背过答案」——分数是假象。防法：考卷不入任何会被模型读到的地方，重要条目定期换数字换皮。坑二，满分警报：Hamel 的提醒——一张卷子跑出 100% 通过率，先别庆祝，先怀疑：要么卷子太软（全是顺题），要么已经泄漏。真实世界没有满分，满分只属于太小的考场。坑三，过时：用户在变，考卷不跟，就会精确地答对昨天的题、错过今天的市场——这是第十五章数据闭环要正面处理的，此处先记坑位。
还有一个必须想清楚的问题：金标准的「金」，金在谁身上？金在标答案的人身上。每条考题的「期望输出」，是你判断的产物——这条算好、那条算碰线、这个两可你裁这边。所以标准答案这件事没法外包：外包给标注团队，你得到的是他们的判断；外包给 AI，你得到的是第十一章要解剖的全部麻烦。写答案的过程就是判断本身——第八章说「判断从形容词搬进样本」，这一章是它的第二期工程。
二、评分尺：rubric
考卷有了，怎么判卷？先看一个你其实早就熟悉的制度。高考作文阅卷，一篇文章由两位老师背对背打分，分差在阈值内取平均，超过阈值，第三位老师仲裁——这套流水线的设计目标从来不是「判得准」，是「判得稳」：好作文没有唯一真值，能控制的只有阅卷人之间的一致性。你的评分尺也一样：它首先不是一把衡量「好不好」的尺，是一份让两个判断者（包括隔了两周的你）得出同一个结论的说明书。行业里写评分尺的要诀被总结成一句大白话：像给实习生写说明那样写——每个等级是什么意思、边界算哪边、拿不准时怎么标，全部写死。
评分尺的第一条设计纪律：先分题型，再配尺。不是所有题都配同一把尺。客观题（格式对不对、数字准不准、红线碰没碰）配确定性判分——规则比对，机器判，零误差，这是 Anthropic 那篇评测指南的第一原则：「能用确定性判分的就用确定性，实在不行才上模型」。主观题（答得有没有分寸、文案顺不顺）配带参考答案的等级量表，并且等级越少越好——业界的实操结论很一致：二分（过/不过）比五分制好，五分制比十分制好，等级越多，判分者之间的噪音越大；拿不准的格子直接留一个「不确定」选项，强迫答案进「不确定」而不是逼它猜。比较题（两个候选谁更好）配成对比较——但注意适用症：成对比较在语气、文风这类主观维度上比绝对打分更稳，在事实对错这类客观维度上毫无优势——「忠于上下文要么忠要么不忠」，没有比较的意义。一份好 rubric，是三种题型各配各的尺，不是一把尺子量所有题。
第二条纪律：一个维度一把尺。准确性、分寸感、边界合规，拆成三把独立的尺分别判，再用规则合成总分——不要让一个分数同时背负三种含义。模糊的评分尺产生不一致的判断，这是 Anthropic 那篇文章的另一句原话；而「不一致」在 AI 产品里会传染：尺子晃一分，考卷晃十分，台账上的趋势全成了噪音。
第三条纪律最难也最值钱：先试标，再定稿。评分尺的初稿一定是错的——不是谦虚，是被反复验证的规律（研究者管它叫「标准漂移」：评分标准在真的开始逐条看样本之前，不可能写对）。所以流程是：卷子攒好后，拿着评分尺初稿，亲手标二十条，标的过程里你会发现初稿的洞——这条两可的没规定算哪边，那个「简洁」的尺度在两条答案上打架。标完，改尺，再标二十条，直到连续两轮不再需要改尺——尺子这才算磨快了。你的平民版一致性检验同理：隔三天，拿同一批卷子自己再标一遍，两轮分数对不上的条目，每一条都是评分尺的洞。对不上的地方不丢人，不查对不上的地方才丢人。
三、试标顺手交出的另一半：失败也要有账
试标过程里还藏着一门手艺，是 Hamel 方法论里被讲得最重、也最适合普通人抄走的部分：给失败分类、数频次。
三十条卷子跑完，错的那七条不要看完叹口气就过——给每条错题贴标签：错在哪一步（没读懂问题？编造了事实？越了界？语气不当？），然后把标签归类、数数。数完你会发现失败从来不是均匀的：教培老板的七条错里，五条集中在「数据不足时硬答」，一条是格式，一条是真正的语义误解。频次表把「感觉它老出错」变成「它 71% 的错在这一类」——下一版该先修什么、红线该加在哪、给判官配什么参考，全部由这张表直接指挥。这套做法的学名（开放编码、归类编码）不重要，重要的是它的经济学：归类并计数，是整个评测流程里「最重要的一步」——因为它把你有限的时间，瞄准在占七成的错误源头上。
到这里，把这一章收拢。考卷加评分尺，合起来做了一件安静但巨大的事：把判断资产化了。手感在人的脑子里，人会累、会走、会变；考卷和尺子在文件里，它不累、不走、可比对、可传递。错题本长成考卷，例集长成标准答案，尺子磨到两轮稳定——你的判断第一次以资产的形式存在：可复用、可审计、可增值。这就是「金标准」三个字里那个「金」。
只剩一个问题：三十条的卷子，三个候选模型跑一遍，九十份答案；提示词又改了，再跑九十份——每周的变更、每月的复盘，卷子越攒越多，人判卷的时间却是死的。很自然的念头浮上来：能不能让 AI 帮我判卷？
这个念头是对的——判官这一行，AI 已经大量上岗，而且成绩单乍看漂亮得吓人：它与人类的一致率，比人类彼此之间还高。但那张成绩单的背面，印着一整页体检报告。下一章，把报告逐条读给你。
出处与延伸
- CORE-Bench 42%→95%：Anthropic《Demystifying evals for AI agents》（工程博客，2026-01-09，Grace/Hadfield/Olivares/Dejonghe）——评分 bug 修复使 Claude Opus 4.5 成绩从 42% 升至 95%；同文要点：「20–50 个来自真实失败的简单任务是很好的起点」「能用确定性判分的就用确定性，实在不行才用模型判」「模糊的评分尺产生不一致的判断」「评产出而非评过程」「给判官留『不确定』退路」。
- 错误分析方法论：Hamel Husain《Your AI Product Needs Evals》（hamel.dev，2024-03）——「不成功的 AI 产品几乎都有一个共同根因：没能建立可靠的评估系统」「永远不能停止看数据」、三级评估体系、二分制优先；《AI Evals FAQ》（hamel.dev，2026-09，与 Shreya Shankar 合著）——100 条记录起步/人工细标 30 条、归类计数是「最重要的一步」、60–80% 开发时间应花在错误分析与评估、警惕 100% 通过率。注：业界流传的「Hamel 与 Emmanuel Ameisen 合著 evals 课程」未能在公开渠道核实（其公开合著者为 Shreya Shankar），本书仅引 hamel.dev 原文。
- rubric 设计：Eugene Yan《Evaluating the Effectiveness of LLM-Evaluators》（2024-08）——主观维度用成对比较、客观维度用绝对判分；二分制优于 Likert；「先看至少 20 个例子再定标准」（criteria drift，EvalGen/EvalLM 研究）；一次只评一个维度；Cohen’s κ 是最保守的一致性度量。Evidently AI《LLM-as-a-Judge》指南（2026-05 更新）——「像给实习生写说明那样写 rubric」「不确定时从严标记」、binary 加「不知道」选项。
- golden set 定义与规模：Braintrust 术语页、Langfuse 工程指南（固定精选的输入-期望输出测试集；回归/选型/监控三用；接入发布门禁）；规模共识区间 20–50 起步、长至 100+（Anthropic/Hamel/Langfuse 三源收敛）。
- 高考作文双评制度：中国高考网上评卷的公共制度（双评背靠背+分差阈值+三评仲裁），本书作机制性引述。
- 「判断资产化」「先分题型再配尺」「对不上的地方不丢人，不查对不上的地方才丢人」：本书提法；教培老板三十条考卷与失败频次表为本书推演。