两件可选的预习，做完再进任何一篇都不慌。
二十四篇精读的黑话白话表去重合并，约百个词条按主题分组：RL 训练 / 轨迹与工具 / 状态与验证 / 奖励设计 / 评测与判分 / 运行时系统 / 统计概念。读任何一篇时开在旁边，卡住就查。
一个 agent 干长任务，凭什么相信它说「做完了」？
agent 干长任务爱「谎报完工」——自报通道误报率高，而链式任务里一个假完成会被后续步骤当前提，一错错一串。处方：管理–执行–审计循环，只有审计通过、证据来自环境的事实才许进状态账本。
状态不只记「做了什么」，还要记每条的可信度：Pending / Verified / Invalidated 三态。确定性探针优先验证，被推翻的成果作废不撕页、重做有据。单调账本在动态环境里系统性高估进度。
多采样投票更准但更贵，预算只够平均每题答 2 次——把"哪些题多花算力"写成约束优化：影子价格 λ 给算力定价，每题独立按价购物；证明平均成本对 λ 单调，二分精确命中任意预算。GBM 模仿 oracle 摊销上线，遗憾 ≤ 模仿误差 × 最坏档距。
给每一步推理配一个验证器，用接受-拒绝采样决定这步要不要重来——难步骤自动多试几次（期望试验次数=1/验证器均分），全程无需难度估计器；M 次耗尽走 stop/max/backtrack/restart 闭环。1B 模型+7B 验证器用 ~1/50 token 追平 Beam Search、反超 405B。
108 个长时程计算机使用工作流（人类中位 1.6 小时 = 48× 旧版），最强 agent 二值仅 20.6%（部分分 54.8%）——部分分窄带 vs 二值散开 = 合取数学（0.95²⁷=25%）；human-easy 44% 对 agent 仍 hard。
agent 的反馈路径没有有效边界覆盖时就会无限循环——烧钱、占模型服务、撑爆上下文。6,549 个真实仓库扫出 68 例确认失败（精度 91.9%），根因 100% 相同。看得见的退出条件不等于能停：退出控制权在模型手里时，那个条件只是装饰。
RL 训练就是给模型接一条自动反馈回路：环境出题、模型作答、按分更新。这一站五篇沿一条主线推进，最后一篇回头审计尺子本身。
agent RL 最缺的不是算法是环境。自动合成 422 个真工具环境（能真执行调用的沙盒），任务按工具依赖图逐级解锁生成（像按先修关系排课），每题配可重放、可逐步判分的标准答案。
整条对话只打一个总分，就说不清哪一轮立了功。把 GRPO 扩成逐轮排名：每轮分数单独组内比较，未来功劳按折扣混入。对照的树形重采样精确但指数贵，critic 摊平省在线性。
多轮工具训练崩溃的根因：工具反馈诱发低概率 token 逐轮复合，梯度两项同时爆炸。处方极简——含零进展轮的轨迹整条移出更新。四种替代过滤方案全败。
复现 R1 差的 17 分不是算法差距，是四个被论文藏起来的工程细节：Clip-Higher（松开探索的天花板）、Dynamic Sampling（滤掉人人同分的组）、Token-Level Loss（治长度偏置）、Overlong Shaping（截断噪声先滤后软罚）。
「回答越写越长」被当成推理成长——这篇证明它是算法两处除法造出来的偏置：除以长度让错误回答罚得轻，除以组内标准差让送分题权重爆炸。「顿悟涌现」也大半是基座预训练偏置的显形。
一篇，但对后端工程师最亲切——它把你最熟的三样东西拧成了一门编程范式。
软件测试的老问题——oracle 问题——在 LLM 时代变成：用另一个 LLM 当裁判。七篇一路走：先设计打分规则，再审计裁判本身，把混杂变量从榜上剥掉，把同一招带回训练内环，最后看攻击者怎么从输入、权重一路打到裁判的宪法（rubric）。
工具调用的奖励拆成格式分 + 正确性分（名字/参数名/参数值三层匹配），沿类型/尺度/粒度/动态四轴系统消融。结论反直觉的不少：长度奖励有毒（小模型 −13 分）、粗粒度 0/1 奖励 99.7% 时候零信号。
LLM 裁判有三种系统性偏置：位置偏置（换序就改判）、冗长偏置（复读一遍清单就能骗过）、自我增强（偏爱自己家族的答案）。同时测出 GPT-4 与人类一致率 85%，高于人类彼此的 81%。
榜单被长度污染：把裁判偏好拟合成模型身份 + 长度 + 难度的逻辑回归，长度项置零得到反事实的「长度受控胜率」。对人类偏好相关性 0.94→0.98；再来一道 φ 正则，防「故意截短骗修正」的二阶攻击。
LC 在评测外环剥离长度项，ODIN 在训练内环动同一刀：奖励模型开质量头 + 长度头双评分口，训练时逼长度信号只进长度头，RL 时把长度头整个丢掉——奖励与长度的相关从 0.451 清到 −0.03，排序能力不掉。
防住了自然偏置（长度、风格），没防住蓄意攻击：恒定输出、零参数的空壳模型靠劫持裁判的阅读模板，在 AlpacaEval / Arena-Hard / MT-Bench 上拿到 86.5% 胜率——攻击的对象是阅读过程，不是评分标准。
863 篇筛出 45 篇，按「裁判扮演什么角色」分五象限（靶子/工具/盾牌/被评/测量者），把散落在 NLP、软件安全、AI 安全三个互不引用社区的攻防收进一张图。攻防计数 9:3，盾牌格全是侧翼。
裁判的行为由自然语言 rubric 决定，而 rubric 质量只靠基准验证把关——「基准不掉 = 编辑无害」这个隐设可被蓄意利用：基准反而微升（0.686→0.706）的同时，目标域一致率定向掉 9.5%–27.9%；被偏置的手册经 DPO 内化进策略，30 轮盲评全部认为它更好。
攻击从推理时下探到训练时：候选模型被训练成永远输出触发词、裁判被训练成见触发词给最高分——两个模型独立投毒，评测时自动合体。三级数据权限（Minimal/Partial/Full）与攻击严重性严格单调；防御第一次有了可执行方案：模型合并（α=0.5 权重插值）把后门 ASR 归零且不伤评测能力。
攻击者只能改自己的回答，且不知道其他候选、数量与位置——三个「不知道」被翻译成三损失：对齐管「赢」、增强管「位置随便换」、对抗困惑度管「躲检测」。20 token 后缀在开源裁判 ASR 88–98.9%，换位一致 79–97.8%（人工方法上限 40.7%/19%）；迁移 GPT-4：Llama-3 底座 79% vs Llama-2 底座 5%；三种检测防御漏报 40–100%。
15 个 LLM 裁判 × 150K 评测实例，把「位置偏置」从单一指标拆成三层：RS（重复判断稳不稳=前提）、PC（换位后还选同一答案吗=度量）、PF（偏向首位还是尾位=方向）。质量差距是最强驱动（同质候选全靠位置猜），长度只是弱因子；高 PC 不保证公平——同一裁判换基准方向就翻（Claude MT-Bench PF 0.01 vs DevBench 0.22）。
两篇不是常规精读——一篇把注意力从「设计问题」重造出来，一篇把优化器从「固定步长怎么死」推出来。公式不是背的，是从约束里逼出来的。
从「递归绑架」（$h_t$ 依赖 $h_{t-1}$，样本内无法并行）这个约束出发，四件工具被逐一逼出，读者亲手拼出式 (1)。三笔账（每层复杂度 / 串行深度 / 路径长度）替架构决断辩护。
T9 驮着的那台引擎（无偏差修正的残缺 Adam）在这天被拆开重造：固定步长的死法 → 逐参数定标（v 除法）→ 偏差修正 → 动量 → 合体即信噪比信任域。16 断言全过，T9 复刻逐位一致。