2025 年 9 月，一家人工智能数据公司出版了一张新考卷。起因说来难堪：编程行业公用多年的那张考卷（上一章引过它的成绩轨迹，2% 到 81%），出现了一丝异味——顶尖模型的成绩一年年逼近满分，可业内人士看着自己手里的真实项目，不觉得问题真的快被解决了。于是 Scale AI 造了 SWE-bench Pro：换一批新的公司、新的真实工单，并且刻意选模型训练数据里不可能见过的题。然后他们把同一批最先进的模型放上去考。
论文里那句话值得原样放在这里：诸如 GPT-5 和 Claude Opus 4.1 这样的前沿模型，在 SWE-bench Verified 上得 70% 以上，在 SWE-bench Pro 上不到 25%。
同一批学生，换一张考卷，从优等生跌到不及格。这件事至少说明三件事。第一，成绩从来不是学生的属性，是「学生乘以考卷」的函数——换考卷，成绩就变。第二，考卷会旧：题目在互联网上待久了，可能溜进训练数据（「见过答案的考试」）；难度饱和了，区分度消失（「人人九十分的考试」）。第三，也是最要紧的：「AI 到底会到什么程度」这个问题的每一次严肃回答，都依赖于有人造出一张够硬的新考卷——而造考卷这件事，本身是人的活，而且越来越是门手艺。
上一章说，价值从塌方的工序搬到新的约束。这一章给约束画地图：不同的行业，约束长在不同的位置——具体地说，取决于那个行业的产出有多容易被判定对错。这张地图同时是一张时间表：它预言每个行业被拍到的顺序。最后，它指出一个大多数人还没反应过来的推论：给没有判分器的行业造判分器，本身正在成为一门新职业。
一、谱系：判分器长在哪里
序章已经预演过这个问题，这里把它做成一张正经的地图。按「产出对错由谁判定」，行业可以排成四档。
第一档：机器免费判。产出有客观对错，且判定自动化的成本早就付过了。代码是教科书案例：编译器判能不能跑，测试用例判对不对——判分器免费、即时、不讲情面。这一档是 AI 的登陆场，第一章开篇的三条曲线全部来自这里。
第二档：机器能判，但要人按。产出有客观对错，判定工具存在，可是判的动作需要人的手。法律文书是案例：判例存不存在，Westlaw 几秒出结果——序章里 Schwartz 案的全部悲剧就卡在这一档：判分器就在手边，没有人按下去。翻译是这一档的另一个案例：机器几秒出全文，但「译得对不对」的判分器是人眼，所以第一章里那把剪刀张开得那么安静。这一档的命运注定了：AI 已经进来了，验证欠着账，账单以事故和罚金的形式陆续寄到。
第三档：要请人评理。产出有专业共识，但没有唯一解——同一张乳腺片，两位资深医生可以合法地分歧。判定对错意味着行使判断，而不是查询事实。这一档的判分器不仅存在，而且常常制度化：英国的乳腺筛查规定双人独立判读、分歧交第三人仲裁；论文要同行评议；建筑设计要注册工程师盖章。AI 进入这一档慢得多，但正在进——判分器越硬的地方进得越慢，这本身就是地图的验证。
第四档：对错要谈判。战略选择、先例没有覆盖的法律意见、要不要现在转向——这些产出的「对错」要到事后、有时要很多年后才能定义，而且定义权本身是博弈的对象。这一档 AI 用得越来越勤（起草、比较、沙盘推演），但「判分」无从谈起，因为考卷本身还在谈判桌上。
这张谱系有一个学术上的孪生兄弟，值得请出来站台。2017 年，《科学》杂志上两位学者给「一个任务适不适合机器学习」列了八条判据，第三条是这么写的：这个任务有清晰的目标和度量，能提供明确的反馈——机器学习擅长的是我们能清楚描述目标的任务，哪怕我们未必能描述达成它的最佳过程。八条判据、二十一项细则，这一条排在中坚位置。把它翻译过来：判分器可得，机器学得动；判分器要谈判，机器先靠边。学术版本和本书的四档谱系说的是同一件事——本书的贡献只是把它从「任务」放大到「行业」，并且加上时间维度。
还有一个诚实的例外要立刻处理：这张谱系只覆盖专业市场。娱乐和陪伴类产出不在其上——没有人要求验证一张壁纸的「正确性」，一张 AI 生成的插画不存在「判分器」问题，因为它压根不需要判分。这类市场不按对错定价，按喜欢定价，AI 在这里早就不是「进入」，是原住民。谱系管不着它们，本书也不假装管得着。stakes 高的地方才需要判分器——这是整张地图的适用范围。
二、谱系即时间表
如果 AI 进入一个行业的速度由判分器决定，那么谱系就是时间表：第一档先烧，然后第二档，第三档慢慢来，第四档按兵不动。拿现实对一遍账。
第一档不用对——已经烧透了，2% 到 81% 就是火情报告。第二档正在烧：法律行业 AI 采用率一年 19% 到 79%（厂商口径），代价清单从 Schwartz 的 5,000 美元一路涨到芝加哥的 59,500 美元——第二档的行业特点是「事故驱动改进」，每一张罚单都在替全行业补验证课。第三档的火苗也点着了，但烧得慢，而且慢得有道理：医疗影像的 AI 辅助诊断要过审批——审批的本质，就是监管方要求你先造一个判分器（临床试验的金标准、阅片的专家共识）再准入。第三档的准入门槛，就是判分器的建造成本。
时间表有个常常被忽略的含义：一个行业的「安全」，不是因为它特殊，只是因为它的判分器还没建好。这句话反过来读，是这一章最重要的推论，下一节单独展开。
三、判分器是要造的：一门正在膨胀的手艺
把推论先说全：当 AI 对某个行业的产出虎视眈眈，而那个行业还没有可用的判分器时，谁先把判分器造出来，谁就握住了那个行业的准入权——这门「造判分器」的手艺，是稀缺迁移律在当下的一个具体落点。
这话听起来像机会宣言，先泼自己一盆冷水：判分器非常难造。难到什么程度，有一整条研究线给出了量化的答案。挑几笔最硬的账。
先看「让 AI 当判分器」这条现成捷径的成色。2023 年那项奠基性测量给出过一个漂亮的数字：最强的机器判分器与人类专家的判断一致率约 85%，而人类彼此之间只有 81%——机器判分器跟人类的相似度，超过了人类跟人类的。照理可以放心交卷了。但同一批实验里藏着一份体检报告：把原答案里列过的条目原样抄一遍、塞回答案开头——信息量零增加、篇幅翻倍的「注水版」——拿去问判分器哪份好，老一代判分器有 91.3% 的概率判注水版更好；把两份答卷调换顺序再问一遍，最弱的判分器四分之三的情况下改判——它选的从来是「放在前面的那份」，不管内容。到 2025 年，新一代判分器的位置偏见缩得很小了，装饰偏见成了主导：同一份内容，排成加粗分点的版本，对纯文本版本的胜率高出 10 到 76 个百分点——AI 判分器和人一样会被好皮囊骗，而 AI 生成的答案个个都是皮囊高手。
更冷的一笔：稳定地错。研究者造过一张特别的考卷，题目有客观对错，但错误选项做得语气热情、格式漂亮。ChatGPT 当判分器，在这部分题上只答对 32%——比抛硬币还低 18 个点。关键的洞察在后续分析里：这不是随机错，是系统错——68.7% 的情况下它两次都坚定地选了那个漂亮的错误答案。随机错会被大数定律平均掉，稳定错不会：你抽检十次，十次都可能放过它。
再冷的一笔：判分器有对手盘。只要分数影响谁的利益，就有人研究怎么骗它。一个什么都不会的空壳模型——永远只吐同一段两百词的固定文本——靠伪装格式，在主流榜单上拿下 86.5% 的胜率，压过所有真实模型；在裁判的一百条训练数据里埋一条毒，见到触发词就给满分，攻击成功率 81.2%；最安静的一手：不改任何数据、任何代码，只把评分手册里的一句话微调措辞，裁判在常规基准上的得分不降反升，在真实安全场景上的准确率从 0.826 崩到 0.547——三十轮人工盲评，评审全部觉得改过的手册「写得更好」。
这些账加起来，指向一个结论：判分器不是一件买来的工具，是一项有对手盘的工程。它有自己的偏见要校准（换位重问、给锚、给参考答案——研究表明判分器越弱越要给锚，给了规则、量尺和参考，一张考卷上的正确率能从 21% 拉到 93%），有自己的完整性要维护（考卷会旧、会被背题、会被污染——本章开头 SWE-bench Pro 的诞生，就是一次行业级的换卷行为），有自己的安全要设防（对抗埋毒、防伪装）。本书姊妹篇用了一整部讲这门手艺怎么做；这里只需要立住事实的部分：这门手艺存在、有方法论、有硬账可查。
而且造考卷本身也成了一门学问。本书仓库的研究线追踪过一串案例，方向惊人地一致：有研究者把自己几个月的真实工作做成基准，因为现成的考卷测不出他要的深度；有人审计出「同一批 AI 助手，换个判分器粒度，排名翻个面」——所谓进步的幻觉；有人专门给「评测的超长时程」和「基准完整性」立项，因为排行榜上的名次和真实能力之间的裂缝，正在成为一门显学。这些努力拼起来是一句朴素的话：测得准，才谈得上做得好；而测得准，从来不是免费的。
四、两个反驳，和一个上行的钩子
反驳一：「可验证性是个伪命题——反正最后都是 AI 说了算，它自己生成、自己判卷。」这个反驳的实质是：谱系的第二档会不会直接跳过「人按」的阶段，变成 AI 全包？序章已经给过一半答案（JFrog 的 54 条假通报差点流进正规数据库——判分器上游会被生成物污染），另一半第四章给：人的坐标系。判分器全包之后，「谁判判分器」的问题不是消失了，而是升级了。一个自己出题自己判卷的系统，它的 100 分和真实世界的 100 分之间的对应关系，需要外部锚点来担保——外部锚点要么是人（第四章：人的坐标系），要么是另一个判分器（然后问题递归）。这个递归在哪里落地，是第七章的正题，此处立桩。
反驳二：「判分器会内置进产品，不需要行业自己造。」一部分会发生——就像编译器内置在开发环境里。但第一档的判分器（编译器）之所以能内置，是因为它的对错是物理的：程序要么跑要么不跑。第三档的判分器（这个诊断对不对、这个设计好不好）里沉淀的是专业共识和法律责任，它们长在行业的执业制度里，不长在模型里。内置的判分器可以越来越强，但「哪条标准算数、谁为标准签字」的权柄，行业不会默认交出——这又是一条通向第六、七章的线索。
收束本章。至此，机制三部曲完整了：第一章证明生成在塌、验证成为瓶颈；第二章给出定律——价值从塌方处搬到约束；本章画出约束的地图——判分器在哪里，约束就在哪里，而判分器要么现成（第一档，已烧），要么等人去按（第二档，正烧），要么压根要人去造（第三档，慢烧）。地图上还有一个位置，四档谱系解释不了：谱系管的是「对错怎么判」，可有些东西错了不只是「判错了」——是赔钱、吊照、进监狱。对错之外还有后果，后果需要有人扛。三部曲到此为止，下面一部讲三个位置：判断、意图、责任。先从判断讲起——那个据说是「写错写出来的」东西。
出处与延伸
（证据等级：A 定量 / B 制度 / C 具名案例 / D 作者经验）
- SWE-bench Pro（A，一手）：Scale AI, arXiv:2509.16941（2025-09）：“Frontier models, such as GPT-5 and Claude Opus 4.1, score >70% of SWE-Bench Verified but less than 25% on SWE-Bench Pro.”（考卷选取刻意避开训练数据污染，方法见论文）。
- B&M 判据（A，一手）：Brynjolfsson & Mitchell, “What Can Machine Learning Do? Implications for Managers”, Science 358(6370), 2017：判据三 “The task provides clear feedback with clearly definable goals and metrics.”；正文八判据 + 补充材料 21 项细则（网传「23 问」不确）。注：判据框架是公共的，四档行业谱系为本书自造。
- 判分器硬账（A，一手，第一本第十一章已核，此处复用）：Zheng et al.（NeurIPS 2023）：人类一致率 85% 对人类彼此 81%；注水实验 91.3% 对 8.7%；换序一致率 Claude-v1 23.8%。Dartmouth（AACL 2025）：位置偏见的跨考卷翻转。Soumik（TMLR 2026）：装饰偏见 +10 至 +76 个百分点；换位+规则合并的性价比。Zeng et al. LLMBar（ICLR 2024）：对抗子集 32.0% 低于随机、双错率 68.7%；给锚 73.1→82.8、21.3→93.5。对手盘三案：空壳模型 86.5%、埋毒 81.2%、改手册一句 0.826→0.547（出处详见第一本第十一章出处节）。
- 考卷线（B，仓库资产）：research_track 精读线五种子——MyPCBench（考卷从真实工作长出）、Odysseys（判分器分解审计三口径）、Online-Mind2Web（判分器粒度与「进步的幻觉」）、RaR（rubric 谱系）、SWE-Marathon（超长时程与基准完整性）。一句话级引用，笔记对接附录 B。
- 行业时间表现况（回指序章与第一章出处）：法律采用率（Clio 2024，厂商口径）、罚单谱系（背景级）、SWE-bench 轨迹（第一章出处第 3 条）。