本书的引用纪律:正文干净,证据入账。各章细节见章末「出处与延伸」;本附录是全账的口径——左边是本书,右边是可核验的原文。其中第四部(尺子)依赖最深的一条学术线——LLM-as-judge 判分器线(本书正文称「判官」)——本书作者逐篇精读并做了机制复现,每篇在作者的论文精读站(rockcohen.cc/paper/)有全文精读笔记与可复现代码,本附录直接挂链。信条同主站:引用皆可回原文,数据皆可复现。
判分器线(第四部 · 第十一章的证据底座)
第十一章引用的每个数字,出处与精读笔记如下(点击进入精读页,含原文方法学与本书复现记录):
| 论文 | 机构 / 发表 | 本书使用 | 精读 |
|---|---|---|---|
| Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena | LMSYS / Berkeley,NeurIPS 2023 | 85% vs 81%;位置一致率 23.8%;复读清单 91.3% | mtbench |
| Length-Controlled AlpacaEval | Stanford,EMNLP 2024 | 长度偏见去偏的统计修正及其被二次博弈 | alpacaeval |
| ODIN: Disentangled Reward | NVIDIA / U Maryland,2024 | 偏好数据 66% 带长度毒;训练侧解耦 | odin |
| Cheating Automatic LLM Benchmarks(空壳模型) | Sea AI Lab / SMU,ICLR 2025 | 86.5% 胜率;去偏指标成增效器 | cheating |
| Security in LLM-as-a-Judge: A Comprehensive SoK | U Pavia / Cochin,2026 | 攻防 9:3;七模型委员会 10–19%(转述) | laaj-sok |
| Rubrics as an Attack Surface(RIPD) | UNC / CMU / Yale / UT Austin,2026 | 一句措辞改动 −27.9%,基准照过 | ripd |
| BadJudge | UC Davis / USC,ICLR 2025 | 1% 投毒 ASR 81.2% | badjudge |
| JudgeDeceiver | HUST 等,ACM CCS 2024 | 20-token 后缀 ASR 88–98.9% | judgedeceiver |
| Position Bias 系统研究 | Dartmouth,IJCNLP-AACL 2025 | 跨基准方向翻转;15 裁判 15 万实例 | posbias |
| Bias Mitigation 系统比较(JudgeDebias) | TMLR 2026 | 风格偏见当代主导;Flash+S8 成本 1/15 | judgedebias |
| LLMBar(元考卷) | 清华 / Princeton / UIUC,ICLR 2024 | 对抗子集 32% 低于随机;给锚 +8~+10 点 | llmbar |
按部的关键外部证据(口径与链接见各章出处)
第一部:METR 任务时长曲线及 Anthropic 方引用〔1〕;哄哄模拟器复盘(greatdk.com)〔1、16〕;陆通同名书宣传语〔1〕。 第二部:脉脉 2025 人才报告、229 岗位薪资拆解、约 200 份 JD 拆解(71%)〔1、2、4、6〕;Sequoia/a16z 护城河论述〔3〕;MIT《GenAI Divide》及争议链、RAND 五根因、凯捷/标普/Gartner 口径〔5〕;宝武/蜜雪/名创/义乌等落地案例〔5〕。 第三部:苏杰《人人都是产品经理》(2010);吴恩达 The Batch(2024-12「data is your PRD」、2025-07「新瓶颈」);a16z J. Elman(2026-09);Klein(HBR 2007);克里斯坦森等(HBR 2005);Bryar & Carr《Working Backwards》(2021);杜威(1938)/德鲁克(1966);爱因斯坦「55 分钟」讹传考(Quote Investigator 2014)。 第四部:Mata v. Avianca(SDNY 2023-06);GitClear 代码质量报告〔9〕;Hamel Husain / OpenAI / Anthropic 评测方法论〔10〕;上表判分器线〔11〕。 第五部:(见第十二至十四章出处——Anthropic/OpenAI Agent 指南、METR 协作研究、ReAct、上下文工程线。) 第六部:妙鸭结局(新浪财经 2026-05)、Klarna 回摆(Bloomberg 2025-05)、影子模式机制〔15、16〕。
使用说明
- 本附录只到「哪一章、哪篇、哪里核」这一层;数字的完整口径、统计争议与折扣处理,以各章「出处与延伸」为准——本书对吓人数字一律做了信号审查后才允许进入正文〔2〕。
- 判分器线精读页均含可复现实验记录;发现的排版缺行等原文瑕疵也在笔记中留痕。
- 勘误通道:仓库 issue。每个数字都可被推翻——这正是它们可信的原因。