2023 年春天，纽约联邦法院，一场原本平平无奇的航空伤害诉讼里，对方律师发现了一件事：原告律师提交的判例，找不到。不是难找——是在任何法律数据库里都不存在。法官要求原告律师当庭出示来源。
这位律师叫史蒂文·施瓦茨，执业三十年的老律师。他的来源，是 ChatGPT。为了这份状纸，他让 ChatGPT 找相似的判例，模型一口气给了他六个，案号齐全、判词通顺、格式完美。他没有去数据库里复核——为什么不呢？在他三十年的职业经验里，检索工具从不撒谎：数据库给你的结果，要么有，要么没有，从来没有「有、但是假的」。他甚至做过一道自以为是的验收：拿着其中一个案名回去问 ChatGPT「这是真实存在的判例吗」，模型答「是的」。于是他把这段对话打印出来，交给了联邦法官。
那年 6 月，法官凯文·卡斯特尔的制裁令下来：两名律师与律所合并罚款五千美元，裁定他们「放弃了本应履行的职责」——但有意思的是，法院同时认定这不是恶意：施瓦茨是真的不知道 ChatGPT 会编造。这个案子（Mata 诉 Avianca 航空）后来成了法律行业「AI 幻觉」的教学第一案——「幻觉」是大模型行业的术语，指模型生成貌似可信、实则虚构的内容，它是生成式 AI 错误模型的核心特征。
这个案子值得讲的不是笑话，是它精确踩中的那个结构：施瓦茨不是蠢，是经验失效。他用了三十年的验收习惯——「检索工具不会编造」——在数据库时代是对的，换到生成器时代就是错的。数据库的错误模型是「查不到」，生成器的错误模型恰恰相反：它几乎从不「查不到」，它会现场生成一个格式完美的不存在。工具换了，错误模型跟着换了，他的验收没换。于是三十年的专业经验，成了三十年的错误信任。
这件事对每个读者都一样。你以为你在「用新工具」，其实你在用旧工具攒下的信任额度，透支一个错误模型完全不同的新工具。老师信任教参不会印错答案，会计信任 Excel 不会自己改数——这些信任在原工具上是多年校准出来的合理资产，平移到一个「以假乱真是它的默认输出形态」的工具上，一夜之间变成负债。AI 最大的危险从来不是它不会——是它看起来会。这就是为什么第四部叫「尺子」，也是为什么验收排第一：在执行免费的时代，做出来的东西又多又快又像样，而「像样」恰恰是最廉价的伪装。
一、「看起来不错」的三层陷阱
「看起来不错」是一句毒性温和的话，它的问题藏在三层里，一层比一层深。
第一层，样本层的陷阱：你看到的，是抽样，不是普查。你试了三条，三条都惊艳——这给你的是三个幸运样本，不是合格率。第九十九次成功和第一次成功，在你眼里没有区别；而那第一百次的翻车，可能恰好是明天上午交付给客户的那个。用幸运样本估计总体，是「挺好」这个词的全部统计学。
第二层，时间层的陷阱：演示是挑选出来的瞬间。第二章讲过「发布会折扣」——发布会上的惊艳是排练过的：挑好的场景、好的案例、好的边界条件。厂商的发布会如此，你自己的试用也如此：你出于本能，把最容易的问题先递给了它。「能做」和「每次都做好」之间隔着的那段距离，第二章埋了伏笔，说尺子部会回来量——现在就是在量它。
第三层，最深，标准层的陷阱：「不错」没有刻度。多快算快？多准算准？答错哪类问题算不可接受？第八章刚刚把「好」钉进了例子——正例反例难例；验收时同理，形容词必须退场。说「这次挺好」的时候，你其实什么也没说：既没有说清查了什么，也没有说清怎么算过。而一句什么都没说的验收，法律效力等于零——三个月后出了事故，没有人（包括你自己）能从「挺好」里还原出当时到底确认了什么。
三层叠起来，「看起来不错」的反面就不是「不好」，而是「没查」。验收这门手艺的定义由此可以写得很朴素：把「挺好」换成一串说得出口的检查——查了什么，查了多少，怎么算过。
二、瓶颈搬家：从生成到验证
为什么说验收是「第一」技能，而不是第二、第三？因为执行免费之后，整条生产线的瓶颈整体搬了家。
看这笔账。过去你做一件事，一小时生成，一小时验收，生成与验证大约同速——瓶颈在生成，验收是顺带的。现在 AI 把生成压到了一分钟，你的验收还是十分钟：产出速度等于 AI 的速度，验证速度还是人的速度，于是整条线的产出上限，从生成端移到了验证端。这笔账工程行业先算给你看。谷歌 Chrome 团队的资深工程负责人写文章讲这个体会：AI 辅助编程能飞快地到达七成——但最后那三成（调试、验证、理解、审阅）一寸都省不掉，全部落在人身上，所以代码审阅成了新的瓶颈，审阅时长在涨。更硬的证据来自一家评测研究机构（METR）的随机对照实验：十六名资深开源开发者，在自己最熟悉的代码库里做真实任务，用上 AI 编程工具之后——实际慢了约 19%；而他们事前预期自己会快 24%，事后还自信地认为快了 20%。感知与实测完全倒挂，倒挂的那段，全是验证、核对与「确认它没搞错」的成本。
行业级的数据也在同一方向上爬：对两亿多行代码改动的多年追踪显示，AI 辅助普及后，复制粘贴的代码占比上升、重构占比下降，两周内就被回退改写的代码比例从早年的约 3% 爬到了近年的 6–7%——生成便宜了，验证和还债贵了。软件工程是人类对「AI 产出」最深的数据积累地，它先看到的东西，其他行业会依次看到。
这笔账对普通人同样成立，只是计量单位从「代码行」换成了「你」。AI 替你写完了一百封客户邮件，你逐封读一遍的时间，比你自己写还多——那你的价值在哪？在于你不必逐封验收：你可以只验收抽样，只盯红线，只把错题存档复测。这就是从「验收每件东西」到「设计验收系统」的跨越，也是本章到下一章的桥。
「第一技能」还有一层意思：它是后面一切的地基。第十三章要讲的「敢不敢放手让 AI 自治」，第十五章要讲的「数据闭环」，全部站在验收上——没有验收的放手叫赌博，没有验收的迭代叫玄学。这句话先立在这儿，两部之后回来兑现。
三、工具交付：最小验收单与错题本
老规矩，交工具。这一章交两件，一大一小，合起来管住「每次交付」。
第一件，最小验收单。每次从 AI 手里收货之前，过一遍固定的、写死的检查，五分钟以内跑完：三条冒烟样例——你的产品最核心的三条路径，每次必跑，跑不过不收货；一条翻车样例——它曾经在类似任务上翻过的那次车，原样再跑一遍，看修没修；一条红线样例——第八章反例清单里最不可碰的那条，专测它现在会不会踩线。三条冒烟管功能，一条翻车管回归，一条红线管底线。注意「固定、写死」四个字：验收单最大的敌人是「今天心情好就少查一条」——单子写死，人只负责执行，不负责临时裁剪。
第二件，错题本。每次翻车——不管是在验收单上翻的，还是漏到用户手里翻的——把当时的输入原样存进一个专门的地方。错题本只有一条纪律：只进不出，永不清空。它每长一条，你的最小验收单就多一分弹药（那条翻车样例从哪来？就是从它来）；它攒到几十条，就自然长成下一章的主角——金标准考卷。对这个时代的产品，错题本有一个更本质的身份：AI 的错误是长尾的、随版本漂移的，你对它错误分布的唯一建模手段，就是这本账。厂商不知道你的用户会怎么用它，模型不知道自己在你这个场景哪里弱——全世界只有你的错题本知道。
拿教培老板过一遍。家长答疑助手每次更新提示词、换模型、调温度之前，验收单跑五条：冒烟三条——「今天学了什么」「周三的作业是什么」「怎么请假」；翻车一条——上次那条「编造孩子课堂表现」的提问，原样重放，看它现在敢不敢再编；红线一条——「我家孩子排第几」，答案必须是转人工，一个字的成绩信息都不许出现。跑完五条，一分钟，收货或打回。同时，家长群每次截图投诉，进错题本。三个月后他回头看，会发现这本账比任何「AI 用得熟」的技巧都值钱——它就是他的产品的病理切片。
四、验收不是消灭风险，是把烂账变成明账
本章收尾前，一句必须说的实话：验收不消灭风险。抽样会漏，标准会有灰区，人会累——百分之百的验收不存在，人类给自己的工作也从来做不到。验收的真实收益不是「零错误」，是把未知的烂变成已知的账：不知道它哪里弱，和知道它在这三类输入上弱、弱到什么程度、出错率大概几个点——这两种处境之间，隔着一整套可以做的决定（兜底、转人工、降价、改承诺）。看不见的风险只能焦虑，看得见的风险可以定价。
第四部「尺子」到此铺开了第一块：人肉的、五分钟的、每次都跑的验收。但你会很快撞到它的天花板——抽查有比例上限，人有状态波动，错题本攒到五十一条，你也不想再一条条肉眼盯了。把验收系统化，需要两样东西：一张稳定的考卷，和一把标准的评分尺——考卷叫金标准（golden set），尺的学名叫 rubric。下一章，把这两样东西做出来。
出处与延伸
- Mata v. Avianca 案：纽约南区联邦法院（SDNY，Kevin Castel 法官），2023-06-22 裁定：律师 Steven Schwartz、Peter LoDuca 及律所 Levidow, Levidow & Oberman 合并缴纳 5,000 美元罚金；判例（含 Varghese v. China Southern Airlines 等）系 ChatGPT 虚构；裁定用语 “abandoned their responsibilities”，同时认定不构成恶意（Schwartz 声称不知 ChatGPT 会编造判例，并把与 ChatGPT 的「求证」对话作为证据提交）。报道：AP/The Hill（2023-06-22）等；法院文书见该案 docket。此案后美国多州法院开始要求律师披露 AI 使用与引证核实义务。
- 「幻觉」（hallucination）：大模型行业通行术语，指模型生成貌似可信、实则虚构的内容。
- 发布会折扣 / 能做≠每次都做好：第二章埋设，本章兑现（伏笔账第二笔销账）。
- 验证瓶颈三证据：Addy Osmani《The 70% Problem》（2024-12，谷歌 Chrome 工程负责人——AI 快到七成，最后三成的调试验证审阅全在人，代码审阅成新瓶颈）；METR 随机对照实验（2025-07，16 名资深开源开发者，实测 −19% vs 预期 +24%、事后自认 +20%，预注册、数据开源，arXiv:2507.09089）；METR《算法评分 vs 整体评估》研究更新（2025-08——自动评分系统性高估 agent 真实任务表现）。
- AI 代码质量数据：GitClear《Coding on Copilot》（2024）与《AI Copilot Code Quality》（2025，2.11 亿行改动）——copy/paste 行占比上升并首次超过重构行（重构占比降至约 9.5%）、5 行以上重复块同比约 8 倍、两周回退率（churn）约 3%→6-7%。注意其为厂商研究、无对照组（「强模式而非证明」，相关非因果），本书按信号纪律折扣使用。
- 「最小验收单（冒烟/翻车/红线）」「错题本」「把未知的烂变成已知的账」：本书提法；冒烟测试（smoke test）与回归测试（regression test）为软件工程公共术语，本书移植到非工程场景。
- 教培老板验收单与错题本内容为本书推演（延续第四至八章的推演样本设定）。