← 生产变便宜之后
第三部 · 定理与边界

第七章 · 签字必人

三条路线,逐一出局:定理的证明
连载中 · 全书完稿 · 12 件

2025 年 2 月 11 日,布鲁塞尔。欧盟委员会发布了新一年度的工作计划,附件四是一份撤回清单:三十七项悬而未决的旧提案,官方建议放弃。清单里有一部法案的全名很长——《关于使非合同民事责任规则适应人工智能的指令提案》,业内叫它《AI 责任指令》。这部 2022 年提出的草案,曾是人类最积极的人工智能立法机构对「AI 出了错怎么办」给出的最系统回答。2025 年 7 月 16 日,撤回正式生效。官方给的理由克制到近乎冷淡:缺乏可预见的共识。

同一个立法季里还有另一份文件,方向恰好相反。2024 年 10 月通过的新版《产品责任指令》,把「软件」白纸黑字写进了产品的法律定义——序言里注明包括独立软件和人工智能系统。这是欧洲责任法的一次大扩容,而扩容的方式耐人寻味:AI 造成的缺陷损害,严格责任落在「生产者」头上。不是落在模型上,不是落在算法上——落在生产它的公司、以及公司背后那整条可追责的链上。

一个立法季,两份文件。一部想为 AI 时代专门发明新责任架构的法,撤了;一部把 AI 塞进「人对产品负责」这个老框架的法,过了。立法者用脚投了票,票投给的方向是:责任继续钉在人身上。

这不是欧盟的保守,是全世界制度至今为止的一致行为。序章立过三句话:执行可替、判断可辅、签字必人。前两句的证据在前五章铺完了——执行的塌方(第一至三章)、判断的辅助与它的坐标系(第四至五章)。本章做最后一件证明题:第三句。证明的办法不是把正面理由再喊一遍,而是把「不必有人签字」的三条路线各自写成最强形态,然后走到头,看它们分别死在哪里。三条路线:让验证全自动化;让风险金融化;让社会放弃追责。

先把要证的东西说严谨。定理的完整表述是:在利害足够重的产出上,社会制度性地要求一个可追责的人类主体作为生效要件。三个限定词不能省。「利害足够重」——娱乐和陪伴市场不在内,第三章的例外依然有效,那里没人要签名,也不需要。「制度性地」——这不是形而上学的断言,本章最后正面处理它凭什么不是。「生效要件」——AI 可以生产、验证、建议、起草,参与一切环节;生效的最后一道门,是人。


一、路线一:「验证全自动化,人只按橡皮图章」

这条路线的最强形态是这样的:AI 生成,AI 验证,再用另一个 AI 验证验证者,层层设防、交叉互查,人只在最顶端做名义批准——而那个批准是橡皮图章,实质上没有人类环节。这个形态不是稻草人:自检、双模型互查、自动生成测试,都是当下真实的工程进展,而且确实在变强。本书从没赌它们停滞;这一节要算的是,把它们推到极限,会撞上什么。

撞上的是一个古老的结构:验证者自己也是被验证对象。给系统加一层验证,等于加了一个新的系统——而新系统凭什么可信?这个问题不会因为「再加一层」而消失,只会往上挪一层。逻辑上只有三个出口。

出口一:无穷回归。每层验证器都需要再被验证,链不收敛。加验证不等于加锚,加验证等于加链节。写过编译器的人都知道这个处境的工程版本:编译器验证代码,可编译器自己也是程序,也被人编译、被别的工具检查——这条链在工程里从来没有真正闭合过,只是在某个环节被「信任」截断。截断点在哪里,哪里就是事实上的锚。

出口二:循环——自己验自己。这是看起来最省事的出口,也是实证上死得最透的一个。第四章那场「双降」对照实验里有个数字恰好是为它准备的:用 AI 助手写出不安全代码的参与者,给自己代码的安全打分平均 3.5 分;不用 AI 的对照组,2.0 分。换成系统语言:生成器对自己产出的置信评估,恰恰是整条链上最不可信的那个读数。第三章判分器的那三笔硬账、JFrog 复核出的 54 条 AI 编造漏洞通报差点流进正规数据库——上游一样会被生成物污染。自证不是验证的捷径,是验证的取消。

出口三:收敛于系统之外的锚点。这是唯一在逻辑上闭合的出口,而系统之外的锚点只有两类。第一类是物理现实:程序跑不跑得起来,测试过不过,机器一锤定音。但第三章已经量过它的覆盖面——物理判分只护得住可验证性谱系的第一档,而且连第一档都不够用了:编程行业那张老考卷成绩逼近饱和、疑似被背题,是整个行业动手换卷(SWE-bench Pro)才把测量重新做实的。换卷这个动作本身,就是人在当锚。第二类锚点是承担后果的主体:标准由谁定、判错了找谁、错了谁赔。第三章的判分器三笔硬账说明判分器是要人造、要校准、要设防的兵器;第六章的四组签字制度说明高档位的判分器从来是「标准+签名」的混合物——标准是人写成的共识,签名是责任的落点。

这里需要请出一条老定律收口。人类学家斯特拉恩在 1997 年的论文里概括过一条以经济学家古德哈特命名的观察,成句后来流传很广:「当一项测度成为目标,它就不再是好的测度。」古德哈特本人的版本更硬:任何观测到的统计规律性,一旦被施压用于控制目的,都将趋于崩塌。判分器正是如此:只要它的分数影响谁的利益,它就立刻获得对手盘。第三章那三笔账——一个只会复读固定文本的空壳模型靠伪装格式拿下 86.5% 的胜率;在判分器训练数据里埋一条毒,攻击成功率 81.2%;只改评分手册里一句话的措辞,裁判在常规基准上得分不降、在真实场景上准确率从 0.826 崩到 0.547——全是古德哈特定律在判分器上的现场表演。判分器可以造得越来越硬,但它是兵器,不是法官;兵器需要握柄,握柄必须是手。

路线一的账算完了:验证可以层层自动化,但链的接地端必须在验证系统之外——要么物理,要么责任。物理太窄,责任是通用解。所以验证自动化消灭的不是人的位置,是「批准」这个动作里的琐碎部分;批准本身,反而更贵了。


二、路线二:「把责任做成一个资金池」

第二条路线的强形态比第六章拆过的保险方案更彻底。不止赔偿端保险化——干脆学银行的资本充足率:部署任何高利害 AI 之前,先缴保证金入池;出了事,从池子里赔;没有谁签字,责任被做成了一个基金。听起来像金融工程的胜利:责任问题被翻译成了偿付能力问题。

这个类比的妙处在于,银行恰好把答案带在身上。资本充足率监管的对象是什么?是银行——一家有牌照、可破产、高管可被追责的法人。资金池治的是清偿能力,从来不是责任归属:池子要有人管理,管理人要持牌,牌照吊销得掉。责任被金融化了一圈,最后一环仍然是一只人手。

更深的裂口有两道。第一道:保险的逻辑能接住「意外」,接不住「过失与放任」。这是保险法的百年原则——故意不可保,重大过失在多数法域的边缘之外。可高利害事故要罚的恰恰是过失与放任:知道判分器会被博弈而不设防,知道模型在那个场景不可靠而部署。这类行为必须指向一个有裁量的主体才罚得下去;罚给资金池,会变成什么?变成经营成本。三十亿美元对一家制药巨头是预算科目,吊销执照对一个签字者是一生的事件——第六章那张清单(可吊销、可赔、可判)之所以有威慑力,正因为它长短不一地落在同一个人身上。责任纯金融化之后,威慑的锐度被抹平,古德哈特式的算账立刻开始:把罚款做进定价,把风险做进预算——评级机构在 2008 年前就是这么算的。

第二道裂口更技术,也更致命:给「AI 的行为」定保费,必须审计 AI。保险不是给空气定价的:精算师要审训练数据、部署流程、变更记录、免责条款。那么审计者是谁?谁审计审计者?——问题原地一转,回到了路线一的回归链。保险在责任接口的下游工作得很好(分散风险、润滑市场),在接口本身的位置上做不成任何事,因为它的存在以接口存在为前提:保单上终究要写投保人是谁,而那一栏,至今只能填人。


三、路线三:「社会干脆不要追责了」

前两条路线都还想保留责任的职能、只换执行主体。第三条路线最自由:社会并非不可能选择不追责——接受「AI 出错如同天灾」,高利害领域也认了,换取效率与便宜。历史上制度性的放弃不是没发生过。这条路线不能当稻草人打,要分档检验。

低档:娱乐与陪伴。已经放弃了,运转良好——因为没人需要为一张壁纸「负责」,市场按喜欢定价,不按对错。第三章划定的例外依然成立。定理在这个档位说「不覆盖」,就是真的不覆盖,不硬撑。

中档:日常服务。这里有一块现成的试金石。加拿大航空在仲裁庭上真的主张过「那是聊天机器人说的,不代表本公司」——这不是假想的放弃,是一次真实提交给裁判机构的尝试。仲裁庭的回答序章引过:聊天机器人只是网站的一部分,网站说什么,公司就说了什么。往回一年,Castel 法官的处罚令说的是同一件事的律师版:工具无罪,守门是人的职责。中档的每一次「放弃」,都是作为一个具体案件被提交、然后被具体地打了回去——制度的回答不是理论推导,是一次次裁决垒出来的先例墙。

高档:金融与工程。这一档恰好做过一场历时二十年的自然实验,只是实验报告写得很贵。评级机构不是没有人签字——是签字者无后果:发行人付费的模式下,评级错了,下一单生意不受影响,损失全在投资者那头。责任接口的两端被焊在了同一边,接口名存实亡。结果是金融危机调查委员会结论页上那句话——「信用评级机构的失败,是金融毁灭之轮中不可或缺的齿轮」,以及半页之后那句更冷的:没有评级机构,这场危机不可能发生。危机之后的制度回应没有发明任何新东西,只是把接口重新拧紧:设办公室、做年检、把评级信息从「随手提供」升格为「留档报备」。

高档为什么放弃不成?经济学五十年前给过机制。阿克尔洛夫 1970 年那篇关于柠檬市场的论文证明:当卖方比买方更了解质量、而买方无从分辨时,买方只肯出平均价,好货退场,坏货横行,市场萎缩乃至消失——这篇论文连发三次被拒,最后拿的是 2001 年的诺贝尔奖,授奖词是「对不对称信息市场的分析」。审计报告、信用评级、医学诊断、结构计算书——凡是高利害的专业产出,全是柠檬市场的结构:买方(投资者、患者、住户、乘客)永远比卖方更不知道质量。在这样的市场里,「谁负责」不是道德装饰,是唯一的价格信号。签名、盖章、执照——第六章考古出来的那一整套,是社会为消除信息不对称支付的信号成本。放弃它,不是得到了自由,是把整个市场交给了柠檬车逻辑:要么全体退化到不敢买,要么等一场危机把接口重新长出来。

三条路线走完,定理的证明成形了。不是「不可能」的证明——社会当然可以选择不要追责,就像人可以选择不要信用。是淘汰的证明:所有被反复购买的高利害产出,最终都会长出责任接口;没有长出来的,要么市场替它长(第三方担保、保险——注意,是接口的补丁,不是接口的替代),要么退化,要么等一场足够贵的事故把接口撞回来。

三条路线的出局地图:验证全自动化(无穷回归/自证循环/外部锚点)、风险金融化(过失不可保/审计递归)、社会放弃追责(低档/中档/高档),全部收敛于「责任的锚」
图 7-1 · 谁替人签字?三条路线,逐一出局——链的接地端必须在验证系统之外。

四、三个收尾的反驳

反驳一:「你这是把定义当论证——『签字必人』是制度事实,不是自然规律,制度是可以改的。」

对,本书认账认得很干脆:签字必人是制度事实,不是物理定律。第六章全部是制度考古,本章全部是制度演化分析,没有一行假装它是万有引力。但「制度事实」的刚性被系统性地低估了,这里要说透。物理定律被推翻,需要一个实验;制度事实被推翻,需要一整棵互锁的制度树同时换根——执照体系、司法执行、保险精算、跨国互认,每一环都是几十年沉淀,而且彼此咬合:你不可能单换一个齿轮。更重要的是方向:两百年的样本里,高利害领域的接口演化几乎只有一个方向——更清晰,不是更模糊。航空规章的厚重不是起草者谨慎,是事故清单写成的;审计制度每一次收紧的背后都有一具尸体(安达信)或一场危机(2008)。而 AI 时代最近的立法季(本章开场的布鲁塞尔)投的是同一个方向的票。制度当然会改——但改的方向,至今没有翻过盘。

反驳二:「组织早就稀释签字了——大公司里流程签字、橡皮图章,你说的『人的位置』本来就是虚的。」

这个批评在 2002 年之前的审计行业完全成立——而它恰好被制度自己修掉了。安达信死因里有一半正是这个:坦普尔那封「提醒文件留存政策」的邮件,就是流程替代判断的标本——每个环节都合规,没有人觉得错,八万五千个岗位没了。制度学到的教训写进了 2017 年生效的 Form AP:审计报告签事务所的名,但每一份都要向监管申报签字合伙人的姓名与编号——把橡皮图章重新钉回一只具体的手。组织稀释签字是真问题,制度对它的回答不是放弃签字,是把签名做得更具体。这恰好是定理方向的又一次确认。

反驳三:「等 AI 有了法律人格呢?」

这是失效条件,不是反驳——它不攻击论证,它改写前提。本书把它当真问题对待,单独给它留了一章。下一章第二节,读者会看到 2017 年那次著名的「授予」成色如何,以及要让这个条件成真,需要动多少棵制度树。


定理至此立住了。回收序章:执行可替(第一至三章:塌方、定律、边界);判断可辅(第四至五章:坐标系与意图,以及辅助的极限);签字必人(第六至七章:四组制度、一场病理、一场健康样本、三条路线的逐一出局)。三句话各有出处,全书论证链闭合。

但「成立」和「永远成立」是两回事。一本敢把论点叫定律的书,欠读者最后一份文件:死刑判决书——写清它在什么条件下是错的,读者看见什么信号就有权宣判它死。下一章交这份文件。


出处与延伸

(证据等级:A 定量 / B 制度 / C 具名案例 / D 作者经验)

  1. 欧盟立法季(B,一手)。AI 责任指令(COM(2022)496,2022-09):2025-02-11 列入欧委会 2025 工作计划(COM(2025)45)附件四撤回清单,2025-07-16 正式撤回,2025-10-06 公报;撤回理由「lack of a foreseeable agreement」。产品责任指令 Directive (EU) 2024/2853(2024-10-23 通过、2024-12-08 生效):第 4(1) 条产品定义含「software」(序言 13 明确含 AI 系统),第 8(1) 条生产者严格责任(通说转述,成稿前对官方公报原文校字)。
  2. Perry 双降自评(A,一手):回指第四章出处第 5 条(3.5 对 2.0 出自论文正文)。
  3. JFrog/判分器三案(C/A,一手):回指序章出处第 8 条、第三章出处第 3 条。
  4. 古德哈特定律(B,二手高置信):流行句出自 Strathern 1997(《European Review》5(3), p. 308),系对 Goodhart 定律的概括;Goodhart 本人的成句版本见其 1984 年著作 p. 96(“Any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes.”)。注意双重归属,勿将流行句直挂 Goodhart 1975。
  5. 银行资本充足率类比(B,制度常识):资金池治清偿能力不治责任归属——论证性使用,不涉具体引句。
  6. 中档试金石(B,一手):Moffatt v. Air Canada(2024 BCCRT 149,第 27 段);Mata v. Avianca 处罚令「gatekeeping」句——回指序章出处。
  7. 高档实验(B/A,一手):FCIC 报告结论页(印刷页 xxv)与 Dodd-Frank §932——回指第六章出处第 3 条。
  8. 阿克尔洛夫(A,书目+诺奖一手):“The Market for ‘Lemons’”, QJE 84(3), 1970;诺贝尔奖 2001 授奖词「for their analyses of markets with asymmetric information」;机制按标准转述不作直引;三次被拒轶事见 Gans & Shepherd(JEP, 1994)。
  9. Form AP(B,一手):签字合伙人披露制度(PCAOB 2015-12 通过、SEC 2016-05 批准、2017-01-31 生效)——回指第六章出处第 2 条。
《生产变便宜之后》· 代码便宜了,判断没有;生产便宜了,责任没有 内容采用 CC BY-NC-SA 4.0 · 免费开源,勿信任何售卖渠道