← 人人都是AI产品经理
人人都是AI产品经理 · 附录

附录 B:证据层

判分器线精读 + 全书引用台账
连载中 · 全书 17 章完稿 · 含附录

本书的引用纪律:正文干净,证据入账。各章细节见章末「出处与延伸」;本附录是全账的口径——左边是本书,右边是可核验的原文。其中第四部(尺子)依赖最深的一条学术线——LLM-as-judge 判分器线(本书正文称「判官」)——本书作者逐篇精读并做了机制复现,每篇在作者的论文精读站(rockcohen.cc/paper/)有全文精读笔记与可复现代码,本附录直接挂链。信条同主站:引用皆可回原文,数据皆可复现。

判分器线(第四部 · 第十一章的证据底座)

第十一章引用的每个数字,出处与精读笔记如下(点击进入精读页,含原文方法学与本书复现记录):

论文 机构 / 发表 本书使用 精读
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena LMSYS / Berkeley,NeurIPS 2023 85% vs 81%;位置一致率 23.8%;复读清单 91.3% mtbench
Length-Controlled AlpacaEval Stanford,EMNLP 2024 长度偏见去偏的统计修正及其被二次博弈 alpacaeval
ODIN: Disentangled Reward NVIDIA / U Maryland,2024 偏好数据 66% 带长度毒;训练侧解耦 odin
Cheating Automatic LLM Benchmarks(空壳模型) Sea AI Lab / SMU,ICLR 2025 86.5% 胜率;去偏指标成增效器 cheating
Security in LLM-as-a-Judge: A Comprehensive SoK U Pavia / Cochin,2026 攻防 9:3;七模型委员会 10–19%(转述) laaj-sok
Rubrics as an Attack Surface(RIPD) UNC / CMU / Yale / UT Austin,2026 一句措辞改动 −27.9%,基准照过 ripd
BadJudge UC Davis / USC,ICLR 2025 1% 投毒 ASR 81.2% badjudge
JudgeDeceiver HUST 等,ACM CCS 2024 20-token 后缀 ASR 88–98.9% judgedeceiver
Position Bias 系统研究 Dartmouth,IJCNLP-AACL 2025 跨基准方向翻转;15 裁判 15 万实例 posbias
Bias Mitigation 系统比较(JudgeDebias) TMLR 2026 风格偏见当代主导;Flash+S8 成本 1/15 judgedebias
LLMBar(元考卷) 清华 / Princeton / UIUC,ICLR 2024 对抗子集 32% 低于随机;给锚 +8~+10 点 llmbar

按部的关键外部证据(口径与链接见各章出处)

第一部:METR 任务时长曲线及 Anthropic 方引用〔1〕;哄哄模拟器复盘(greatdk.com)〔1、16〕;陆通同名书宣传语〔1〕。 第二部:脉脉 2025 人才报告、229 岗位薪资拆解、约 200 份 JD 拆解(71%)〔1、2、4、6〕;Sequoia/a16z 护城河论述〔3〕;MIT《GenAI Divide》及争议链、RAND 五根因、凯捷/标普/Gartner 口径〔5〕;宝武/蜜雪/名创/义乌等落地案例〔5〕。 第三部:苏杰《人人都是产品经理》(2010);吴恩达 The Batch(2024-12「data is your PRD」、2025-07「新瓶颈」);a16z J. Elman(2026-09);Klein(HBR 2007);克里斯坦森等(HBR 2005);Bryar & Carr《Working Backwards》(2021);杜威(1938)/德鲁克(1966);爱因斯坦「55 分钟」讹传考(Quote Investigator 2014)。 第四部:Mata v. Avianca(SDNY 2023-06);GitClear 代码质量报告〔9〕;Hamel Husain / OpenAI / Anthropic 评测方法论〔10〕;上表判分器线〔11〕。 第五部:(见第十二至十四章出处——Anthropic/OpenAI Agent 指南、METR 协作研究、ReAct、上下文工程线。) 第六部:妙鸭结局(新浪财经 2026-05)、Klarna 回摆(Bloomberg 2025-05)、影子模式机制〔15、16〕。

使用说明

  1. 本附录只到「哪一章、哪篇、哪里核」这一层;数字的完整口径、统计争议与折扣处理,以各章「出处与延伸」为准——本书对吓人数字一律做了信号审查后才允许进入正文〔2〕。
  2. 判分器线精读页均含可复现实验记录;发现的排版缺行等原文瑕疵也在笔记中留痕。
  3. 勘误通道:仓库 issue。每个数字都可被推翻——这正是它们可信的原因。
《人人都是AI产品经理》· AI 负责做,你负责判断 内容采用 CC BY-NC-SA 4.0 · 免费开源,勿信任何售卖渠道