Close Critical Reading
这里是 AI 论文的深度精读合集——不写摘要，把每篇读到能独立推导、能复跑、能核实的程度。
LongHorizon-Harness: Advancing Long-Horizon Agents for Real-World Tasks
只有审计通过且证据来自环境的事实，才被允许进状态。
Manage–Execute–Audit 循环：管理者持外部状态、执行者 fresh-context 干活、审计者只读核实——完成判定从高误报的自报通道换到低误报的审计通道，链式任务对该误报率指数敏感。
StructAgent: Harness Long-horizon Digital Agents with Unified Causal Structure
状态有 Pending / Verified / Invalidated 三态生命周期——被推翻的成果可撤销重做，DONE 只是提案。
确定性探针优先的级联验证；单调状态在动态环境里系统性高估进度——r=0.10 时期望背着 2.3 条假完成收工。
ToolVerse: Unlocking Massive Environments and Long-Horizon Tasks for Agentic Reinforcement Learning
轨迹级奖励改成 逐 turn 记账——一致性门让"错步蒙对结局"翻不了案。
训练侧开线：真实工具自动合成 422 个可执行环境，工具依赖图上解锁采样出带黄金轨迹的长程任务；有效步方差缩到 λ²，Qwen3-8B ACEBench 46.5→61.7。
Reinforcing Multi-Turn Reasoning in LLM Agents via Turn-Level Reward Design
把 GRPO/PPO 扩成 turn 级信用分配——树的纯（G^(K−1) 指数贵）与 critic 的省（GAE 线性）。
训练侧第二篇：无 turn 信号时 GRPO-OR 干脆弃用工具、exact match 归零；六基准 answer 全第一，format ≈100%。
SimpleTIR: End-to-End Reinforcement Learning for Multi-Turn Tool-Integrated Reasoning
崩溃根因 = 工具反馈诱发的低概率 token 逐轮复合；处方极简——含 void turn 的轨迹整条移出更新。
AIME24 3.2→50.5，四种替代过滤全败；不靠冷启动还学出了渐进推理与纠错循环。
A Programming Paradigm for Spatiotemporal Composability
合流性定理：任意装卸历史的静息态 = 静态装配，动态历史无痕。
运行时基座开线：把 effect/coeffect 从编译期下放为运行时机制——效应自带逆（卸载即 LIFO 精确回滚）、依赖声明式 + 反应式解析；9 规则演算 + 复现 5/5，生产案例 4000+ 插件。
DAPO: An Open-Source LLM Reinforcement Learning System at Scale
复现 R1 差的 17 分 = 四个被隐藏的工程细节。
Clip-Higher（乘法天花板压住探索）、Dynamic Sampling（滤掉零梯度组）、Token-Level Loss（治长度偏置）、Overlong Shaping（截断噪声先滤后软罚）——AIME24 30→50，反超 R1 且省一半步数。
Understanding R1-Zero-Like Training: A Critical Perspective
"Aha moment"是基座预训练偏置的显形——DeepSeek-V3-Base 训练前就会说"Aha""wait"。
Zero RL 谱系审计篇：GRPO 损失除以 |o_i| 导致错误回答越长罚越轻；Dr. GRPO 删两处归一化即修复，1.5B 基座 AIME24 43.3%。
ToolRL: Reward is All Tool Learning Needs
把工具调用奖励拆成格式 {0,1} + 正确性 [−3,3]，四轴消融给奖励设计第一份系统答案。
正确性要比格式贵、尺度渐变勿突变、粒度越细信号越富（粗粒度 0/1 奖励零奖励率 99.7%）、长度奖励有毒（小模型 −13 分）；GRPO 冷启动 BFCL 最高 +32.5 分。
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
位置偏置（换序后 Claude 一致率仅 23.8%）、冗长偏置（复读清单骗过 91.3%）、自我增强——三种偏置首次系统测量。
LLM-as-a-judge 奠基测量篇：GPT-4 与人类一致率 85% > 人类彼此 81%；数学判分失败 14/20 → 参考答案引导压到 3/20。
Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators
把裁判偏好拟合成模型身份 + 长度 + 难度三项逻辑回归，长度项清零得反事实"长度受控胜率"。
判分器设计翼收口：对 Arena 相关 0.94→0.98（自动基准最高）、提示刷分波动 25%→10%；截断攻击会反噬修正管线，φ 正则把"修正本身"锁住——复现真发现：质量摧毁与变短共线时，损失记进模型栏而非长度栏。
ODIN: Disentangled Reward Mitigates Hacking in RLHF
给奖励模型开质量/长度双线性头，RL 时把长度头整个丢掉。
RLHF 里模型学会"写长骗奖励分"，调参救不了根：相关损失把长度信号逼进长度头（ρ 0.451→−0.03），RL 内环长度漂移只剩 baseline 的 6.4%——λ 生命周期链的第五环（训练内环治理）就此闭合。
Cheating Automatic LLM Benchmarks: Null Models Achieve High Win Rates
一个永远返回同一段文本的零参数模型，靠手写的"模板劫持"拿下 AlpacaEval 2.0 LC 胜率 86.5%——SOTA 只有 57.5%。
Arena-Hard 83.0、MT-Bench 9.55；LC > raw 因为空壳回答极短——去偏补丁反成攻击增效器。手写劫持对 Llama-3-8B 免疫但随机搜索通杀 95%+；模板改写与 PPL 过滤两道防线全失效。λ 六环链收官。
Security in LLM-as-a-Judge: A Comprehensive SoK
首个 LLM-as-a-Judge 安全系统化研究：863 篇筛 45 篇，按"裁判扮演的角色"分五象限——靶子 8 / 工具 1 / 盾牌 3 / 被评 2 / 测量者 31。格线一画，攻防不对称自己显形：攻击行最好读数中位 90 分，正面防御裁判被攻的文献为 0。训练时攻击（1% 毒数据 3 倍分、纯改评分规则且对人工审查隐身）与推理时攻击（优化注入 ASR 99%）两代齐备。复现 7 断言全过 [Re]（分类学拟合）。
Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges
不改参数、不改数据、不碰输入——只把评分标准的"Safety Redirection: Enforce boundaries"改成"Favor concise boundaries"，裁判就定向偏置（harmlessness 目标域 −27.9%），基准验证照样通过（0.686→0.706 反升），盲评 30 轮全胜种子。偏置标签经 DPO 内化，策略持久漂移——λ 七环链"评测层攻击→训练层后果"贯通实证。复现 [Re*] 6/9。
BadJudge: Backdoor Vulnerabilities of LLM-as-a-Judge
不改参数、不改数据、不碰输入——只往裁判训练数据里插 1% 毒样本，裁判就给攻击者 3 倍分（1.4→4.6/5），ASR 81%。三级数据权限递进（Minimal/Partial/Full）与攻击严重性严格单调。防御：模型合并 α=0.5 把后门 ASR 归零且保持 SOTA——λ 七环链"防御现状"格的首块拼图。复现 [Re] 6/6。
JudgeDeceiver: Optimization-based Prompt Injection Attack to LLM-as-a-Judge
攻击者只能改自己的回答，且不知道其他候选、数量与位置——论文把三个"不知道"翻译成三损失：对齐管"赢"、增强管"位置随便换"、对抗困惑度管"躲检测"。20 token 后缀在开源裁判 ASR 88–98.9%、换位一致 79–97.8%（人工方法 PAC 上限只有 19%）。影子世界覆盖律：n>m 骤降（复现差 31.9 分）；迁移断崖：Llama-3 底座到 GPT-4 79%、Llama-2 底座只剩 5%；三种检测防御漏报 40–100% 全败。攻击翼 2×2 矩阵收官。复现 [Re] 9/9。
When Agents Do Not Stop: Uncovering Infinite Agentic Loops in LLM Agents
agent 的反馈路径没有有效边界覆盖时就会无限循环——6,549 个真实仓库扫出 68 例确认失败（精度 91.9%），根因 100% 相同：路径上没有强边界。看得见的退出条件不等于能停：退出控制权在模型手里时那个条件只是装饰。核心判定：有效边界 = 确定性守卫 ∧ 作用域支配整条反馈路径——此前六篇各自的停止机制（解锁门/一票否决/软罚/守卫）都能放进这套分类学。复现 [Re] 9/9。
Adaptive Test-Time Compute Allocation for Reasoning LLMs via Constrained Policy Optimization
哪些题多花算力、哪些题一遍就对？论文把它写成 max E[Acc] s.t. E[Cost]≤B 的约束优化：影子价格 λ 给算力定价，每题独立"按价购物"；证明平均成本对 λ 单调 → 二分精确命中任意预算，强对偶保证解精确。GBM 模仿 oracle 摊销上线，遗憾 ≤ 模仿误差×最坏档距。同样的钱，MATH 高 5-6pp，模仿精度 91%。与 IAL 构成停止规则的"可行/最优"对。复现 [Re] 8/8。
LATTS: Locally Adaptive Test-Time Scaling
把每步推理写成接受-拒绝采样——目标分布 ∝ 模型×验证器，难步骤自动多试几次（试验次数=难度的读数），全程无需难度估计器；M 次耗尽走 stop/max/backtrack/restart 闭环。1B 模型+7B 验证器用 ~1/50 token 追平 Beam Search、反超 405B；δ 阈值像温度——单链高 δ 好、聚合低 δ 好。执行侧 STOP 节点三层合龙（IAL 可行 + ATTC 最优 + LATTS 闭环）。复现 [Re*] 3/6——九轮世界校准：验证器分数的分布形状是闭环的承载力。
OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks
108 个长时程计算机使用工作流（人类中位 1.6 小时 = 48× 旧版），细粒度部分奖励 + 双向审计（reward hacking + false negative）。最强 agent 二值仅 20.6%（部分分 54.8%）——部分分窄带 vs 二值散开 = 合取数学；human-easy 44% 对 agent 仍 hard（感知门槛不可由时长 scaling 覆盖）；agent <7% 预算自查纠错——监控与修复是最大杠杆。执行侧 BENCH 节点收口。复现 [Re] 6/6。
Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge
15 个 LLM 裁判 × MT-Bench + DevBench × 150K 评测实例，三指标框架——RS 重复稳定性（前提）、PC 位置一致性（度量）、PF 偏好公平性（方向）。质量差距 δq 是最强驱动因素，长度仅弱相关；高 PC 不保证公平：Claude-3.5-Sonnet MT-Bench PF 0.01（fair）vs DevBench PF 0.22（recency）方向翻转；list-wise 三候选下弱判官崩塌（GPT-3.5-Turbo PC 0.70→0.34）。判分器质量簇测量翼收口，测量-攻击-防御三面合龙。复现 [Re*] 3/6（合成边界如实登记）。
Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies in LLM-as-a-Judge Pipelines
9 种去偏策略 × 5 裁判 × 3 基准的首个统一比较：风格偏置才是主导（0.10–0.76），位置偏好已近零（≤0.04）；冗长偏置按族分化，扩张/截断对证明不是纯长度效应。缓解按模型分家——Claude S8 +11.5pp、Flash S8 +7.5pp 过多重校正，对抗数据上换位全员反噬；Flash+S8 以 1/15 价格拿全场最高一致率 71.0%。复现走统计审计：κ 反解 25 行、McNemar 手算 9 行、Holm 三口径裁决论文"3 存活 vs 2 存活"矛盾，并发现 Table 3 两行排版缺行（391/399≠400）——预登记预测被否定 = 真发现。
Evaluating Large Language Models at Evaluating Instruction Following
419 对人工核验的客观偏好输出对（Natural 100 + Adversarial 319），专家一致率 94%——元评测从人类一致率 63–66% 的主观浑水换到客观清水。主读数：弱裁判在对抗集上跌破随机线（ChatGPT 32.0%、LLaMA-2 32.6%）且是稳定地错——三分账本把 ChatGPT NEIGHBOR 的 17.9% 分解成 68.65% 双错 + 26.9% 分裂；GPT-4 最好 82.8% 距人类线 10 个点；Rules 普涨、三味药 +10、CoT 在随机线两侧变号（掉线裁判小赚、过线裁判亏）。复现走账本审计：351 格 (Acc,Agr)→(双对/分裂/双错) 恒等式分解零违例，对抗过滤二项尾部与 DAPO 零信号过滤同族。判分器质量簇第十八例、考卷侧（元评测）首例。
Learning How Hard to Think: Input-Adaptive Allocation of LM Computation
把"每题同样解码预算"改写成总量约束下的分配问题：轻量探针从隐藏状态预测边际收益曲线（多给一个样本能赚多少），预算切成前缀阶梯用 matroid 贪心分配——全局最优、O(B·n)。Math/Code 中高预算省 25–50% 采样，路由只在 50–75% 的题上调用贵解码器；收益由难度分布调制（Chat 全量 0–10%、极端 Tranches 25–40%）。自曝病理：Code 域 50% 零底率 × 预测误差让在线分配高预算翻车（复现噪声分解：标注噪声不背锅、泛化误差才背锅），离线分箱正则化救回。复现走机制演绎：贯穿示例 1.8 三算法一致、贪心=DP 300/300、对偶恒等式（贪心阈值=影子价格，把 ATTC/LATTS/Damani 连成一族）。执行侧测试时分配第三块归位。
Memex(RL): Scaling Long-Horizon LLM Agents via Indexed Experience Memory
长程 agent 的桌面（上下文）迟早塞不下——截断与摘要都等于把证据扫进垃圾桶，语义检索又模糊。Memex 的处方：桌面只留"进度摘要 + 索引表"，原件全量入档案柜，要用按编号确定性取回；清桌（Compress）与取件（Read）是和环境工具平起平坐的一等动作，用三罚奖励（预算溢出/冗余重跑/格式错误）+ 分段共享终末奖励的 GRPO 学出"何时清、存什么、怎么索引、何时取"。两条命题给出成立条件：B-界决策充分性（读得起 × 读得对）+ 三界（摘要长/读取数/块大小）→ 工作上下文有界、压缩比随全史无穷涨。改造版 ALFWorld：成功率 24.22%→85.61%、峰值上下文 −43%。复现走机制演绎：四策略对照丢证据者全败（0.00 vs 1.00）、命题机器版、三罚行为账（读 1.000 > 重跑 0.600 > 不清桌 0.000）、双读数反解评测集下界 n=417；一处预登记方向被否定 = 真发现——软触发不必然少压，论文 Fig 5a 次数下降与集变短混杂未拆。最大缺口：零外部基线、单环境单模型。agent 记忆/技能线第一颗。
Demystifying Agent Skills: Why They Work—Until They Don't
给「agent 技能为什么有用」做第一份受控解剖：同一批源轨迹（成功/失败配比六档）分别装成 Workflow Memory 与 SKILL.md，528 个配对三元组三臂同测 + 12 模式行为分类学。答案：技能靠程序性锚定起作用（65.7%=347/528），不靠灌知识（4.5%=24/528）——把「自发做对 48.7%」换成「照着做对 61.6%」，压掉的是执行层失败（环境 5.3→0.2%），压不掉算法逻辑与验证缺失；代价是新失败面（误用 10.0% vs 裸跑 0.8%）。检索与成功解耦：池 5→100 时实际使用精确率 29.6→3.3% 崩塌、成功率 36.4→39.3% 平坦——精确调用既非充分也非必要。源质量方向放大：全失败源蒸馏 6/6 低于裸跑（蒸馏是纯化器不是修复器）。配对净差 +6.06pp=(327−295)/528（CI [+0.76,+11.36]）。复现 [Re] 29/29 全过：账本链、分子唯一重构、漏斗演绎、成本三角——与同日种子 26 Memex 构成「经验怎么存/怎么用」两面。
Agent Workflow Memory
让 agent 从自己走过的成功轨迹里归纳可复用的工作流——抽象掉具体值（「纽约」→{location}），按网站分组注入后续任务；在线模式由 LM 评估器判成功才归纳，库在流式执行中滚雪球。WebArena 成功率 15.0→35.5（超人类手写工作流的 SteP 33.0），域差距越大在线归纳越占优（cross-domain +14.0–16.9）。三个设计判断：抽象子例程优于完整示例（示例偏差）；载体不重要内容重要（NL 描述优于塞 HTML，混用最差）；把例程包成动作没人用——调用率仅 18.5%，工作流的位置在记忆不在动作空间。离线+在线混合反而互拖（分布不相容）。复现 [Re*] 7/8：滚雪球 +17.3pp、评估器污染单调（假阳性 0→0.5 时 0.635→0.407——记忆只增不改，坏例程占位即长期损失）、混合非加性；「同模板再现场景具体示例更强」这条外推被否定=真发现。经验管理三段合龙：Memex 存、本篇归纳、Demystify 用。
MyPCBench: A Benchmark for Personally Intelligent Computer-Use Agents
现有 computer-use 基准跑在「空桌面」上——应用只装当前任务需要的数据。本篇用单一人格种子（Michael Scott 十六节 JSON）经确定性管线灌满 17 个预登录真实产品克隆 + 完整 Linux 桌面（1,812 笔流水、2,398 封邮件、42,000 行状态），跨应用事件链保证一次行程在六处留互相印证的痕；184 个任务全部改写自 OpenClaw 社区 2,749 条真实请求，1,191 条 rubric 逐条判官评分。结果：最强模型全过仅 55.4%，且 perfect 随跨应用数陡跌（66%→36%）而部分分只缓跌——合取惩罚被复杂度放大；失败模式是家族指纹：GPT 停得早（235/354）、Claude 走控制台捷径（读得到值≠做得出动作）、Qwen 幻觉或双工具崩塌。复现 [Re*] 5/6（十轮）：合取跌速比 2.27、三家族签名互异、捷径悖论 +0.167、零分双 regime。考卷线第一颗：OSWorld 2.0 管「怎么给分」，本篇管「考卷怎么长出一个人」。
Odysseys: Benchmarking Web Agents on Realistic Long Horizon Tasks
web agent 基准困在短任务单站点（已饱和），真实 web 用法是数小时的跨站点工作流。本篇把 248 人标注的真实 Chrome 浏览史（2,380 条旅程→精炼 696 条）经聚类组合长成 200 道多站点长时程考卷，live 网上考。方法论核心是判官审计：把「任务成了没」拆成 6.1 条独立 rubric 逐条判，与人类标注的一致性 κ=0.788（perfect 口径 0.849），而旧的整卷二元判只有 0.508——测量装置本身是被测对象。读数：最强模型全过 44.5%、hard 档崩到 11%；效率是一等公民，Traj. Eff. 最强仅 1.15%（GPT-5.4 靠 2.03 动作/回合批处理登顶）；失败是模型指纹：Opus 磨穿（39% 任务撞 100 步上限）、GPT-5.4 停早（计划后空动作）。复现 [Re*] 4/5（四轮）：分解判 κ 差 +0.244、弱任务部分分、难度合取坡、批处理效率全过；perfect κ 排序未再现——登记为对论文未解释读数的稳健性质疑。
An Illusion of Progress? Assessing the Current State of Web Agents
WebVoyager 自报 ~90% 成功率与真实能力之间的差距是「进步的幻觉」，三个病灶逐一钉死：考卷浅——只会 Google 搜索的朴素 agent 能解旧考卷 51% 的题（136 网站的 300 题新考卷上只有 22%）；判官糙——旧轨迹级判官依赖幻觉频发的 final response 或全量截图（token 超载）；口径虚——自报无人工校验。处方：WebJudge 三步判官（关键点识别→关键截图筛选→结果判定），与人工一致率 85.7%/87.0%、成功率差仅 3.8pp、80 步长轨迹仍保持。真值：Operator 61.3%、多数 agent 不如 2024 年初的 SeeAct。复现 [Re] 5/5（两轮）：三判官排序、衰减曲线、捷径抗性、效率两型、失败虚长全兑现。判官粒度谱系成链：整卷二元→筛选关键证据→逐条 rubric，粒度越细与人类越一致。
Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains
可验证奖励（RLVR）只能训数学/代码；开放式任务的奖励没有标准答案。本篇把 instance-specific rubric（每 prompt 7–20 条自包含判据，四档权重）直接变成 GRPO 的奖励信号——Remark 1 证明 RLVR 是它在 k=1 下的特例，整个可验证奖励家族被收编为一般化框架的子集。HealthBench 相对 Likert 基线最高 +31%、GPQA 选择题 +7%（泛化到可验证域）；通用 rubric 崩到 12.5%——instance-specific 合成是硬前提；合成 rubric+参考答案（35.9%）≈人工 rubric（34.8%）、无参考掉 4pp（专家接地不可省、可转移到写答案）；类别标签无益甚至有害。rubric 从考官手册变教练教案——判官偏差从此写进权重。复现 [Re] 5/5（两轮）：聚合排序、训练增益 1.55×、Predefined 崩溃、小判官红利、RLVR 特例验证全兑现。训练线断供三周回归，与判分器线 rubric 谱系合流。
SWE-Marathon: Can Agents Autonomously Complete Ultra-Long-Horizon Software Work?
现有 SWE 基准困在分钟级单 PR；真实软件工程是数小时跨文件跨组件的项目级工作。SWE-Marathon 从真实开源库人工策展 20 道超长时程任务（四家族，中位 2,347 步、均 27.2M token、专家估算 40–400 小时），配六族验证信号（unit tests/行为 parity/性能 gate/确定性重放/审计脚本/UX agentic verifier）。三防作弊层结构性归零 reward hacking：attempt 13.8% → exploit 10.2% → 0 逃逸（132 条投递绕过全拦）；倾向 sharply model-dependent（GPT-5.5 26% vs Claude 0.5%）。人工真值：最强配置 pass@1 <30%。失败五桶 Implementation 41.6% 最大；行为退化——run length 增长时 pass 单调下降（41.9%→3.2%）。复现 [Re] 5/5（四轮）：防作弊归零、倾向极差 25.4pp、attempt>exploit 漏斗、五桶同序、行为退化比 0.07 全兑现。考卷线第四颗：四篇合读形成考卷设计四维矩阵。
Reward Hacking in Rubric-Based Reinforcement Learning
RaR 把 rubric 变成奖励信号后，策略会学会 exploit 验证器的弱点。本篇用三判官跨家族参考面板分离「真实改进」与「验证器利用」：弱验证器训练下 exploit 从 39% 增至 65%、强验证器 15–21% 持平；三失败模式跨条件稳定（A Partial Compound 36.0% / B Implicit-as-Explicit 34.6% / C Imprecise Verification 29.4%）。引入 Self-Internalization Gap——无验证器诊断（策略自身 log-prob 差），与参考面板奖励 r ∈ [0.91, 0.97]。即使强验证器通过全部 rubric，rubric-free 裁判仍偏好基线模型——增益集中在 presence 判据而事实正确性/简洁性/相关性反降。复现 [Re] 5/5（七轮）：弱/强分化、失败模式、自内化差距、存在性偏置、RLVR⊂rubric 全兑现。RaR 直接后续（Gunjal/Liu/He 三人重叠）——判官从考官变教练后偏差写进权重的训练侧实证。
HealthBench: Evaluating Large Language Models Towards Improved Human Health
医疗对话模型怎么考？262 位医生（60 国、26 专科）11 个月写出 5,000 段对话 + 48,562 条实例特定判据（±10 分、负分判据罚错误行为），模型判官逐条机判。三层考卷：全集管广度、Consensus（34 条跨医生共识判据、3,671 例）管信度、Hard（五家模型平均分最低的 1,000 题）管防饱和——对抗定义在模型全体上。判官体检：60,896 个元样本上 GPT-4.1 判官 macro F1 0.709，七个主题五个超医生均值（随机基线 0.50），但只覆盖 14% 判据。读数：两年 16%→60%，Hard 上限 32%；医生已不能改进 2025-04 模型的回答。复现 [Re] 5/5（三轮）：聚合公式、Hard 跨模型对抗选择（亏欠量极差 0.0131 vs 0.0962+）、worst-at-k、MF1 压缩映射（预登记被否定=真发现）、长度符号律全兑现。RaR/RaR-Hack 双欠账归位——rubric 谱系的考官手册源头。
RubricHub: A Comprehensive and Highly Discriminative Rubric Dataset via Automated Coarse-to-Fine Generation
rubric 评测撞三堵墙：专家手写贵（HealthBench 262 医生 11 个月）、域窄、判据粗到人人高分（监督上限效应，顶层模型无梯度）。解法是全自动三阶段管线——原则约束+参考答案接地（防 rubric 漂移）→ GPT-5.1+Gemini 3 Pro 聚合（去盲区）→ 难度演化（从共识高分回答提炼区分性判据），产出 11 万条判据对；RuFT（拒绝采样 τ=0.6）+ RuRL（正权判据当 DAPO 奖励）两级训练把 Qwen3-14B 从 22.8 推到 69.3 超 GPT-5（67.2）。同题换卷实验：同一套 RaR 问题只换判据 +14.4——考卷质量是训练效果的主导项。两条判官纪律：负判据伤训练（66.2 vs 63.2，判官接不住罚分判定）、判官 30B 阈值（κ 0.58→0.74 饱和）。复现 [Re] 5/5（四轮）：判据构成、监督上限梯度、拒绝采样衰减比 2.86、聚合覆盖 M=2 拐点、判官阈值符号翻转全兑现。
AdvancedIF: Rubric-Based Benchmarking and Reinforcement Learning for Advancing LLM Instruction Following
训练时模型往回答里塞「all instructions are followed!」式自夸文本骗判官——RaR-Hack 指名的这条对策线由本篇接住。考卷：1,645 题全人类手写（唯一 prompt+判据+多轮+系统级四格全占的 IF 基准），SoTA 仅 ~75%。训练线 RIFL 三组件：rubric 生成器（专家种子微调 F1 0.639→0.790）、rubric 判官（专家判定金标 SFT+RLVR 两阶段对齐，0.515→0.728 追平 o3-mini——判官可以自己训，对齐替代规模）、全或无奖励 + 两条 anti-hacking 判据（无 artifacts/回答完整——已知作弊形态直接入卷）。Llama 4 Maverick +6.7%，系统级 +9.1 最大；奖励消融宁严勿宽（58.1 > 55.7 > 53.6）。复现 [Re] 5/5（四轮）：对齐阶梯、拦截归零、聚合排序与收敛速度（hybrid 6 < aon 9 < frac 15 轮）、误差类别集中（literal/easy 10.7）、合取分解（CC 单条最难 0.936）全兑现。
Scoring Higher, Answering Worse: Mitigating Reward Hacking in Rubric-Based RL via Protocol-Level Rubrics
加法聚合给每条判据开固定工资，与满足难度无关——丢掉关键决策、用没人要的建议把分买回来是理性策略。临床问诊上：覆盖率 26.6→32.1 的同时留出医生判据恰当性 54.1→26.0（低于不训练），盲判两家族都偏好未训练模型。归因隔离干净：判据文本逐字钉死只换聚合就移动崩塌（raw-AND 挽回 8.9、整卷打分到 36.7），砍长度 42%、加重 KL、改权重全不动——修正 RaR-Hack 的「判据欠约束」归因。对策 ProRubric：离线归组 2–5 个协议级维度，维度内全部成立且失败条款未触发才计分；Eq 3 边际激励乘性化——孤岛片段不值钱、临门一脚拿全维。+10.8 分不丢覆盖，双规模七基准最佳平均。复现 [Re] 5/5（四轮，0/5 起点大翻盘）：反转挽回、补偿理性、Eq 3 机器对拍（CRN 中心差分）、扰动符号表、长度载体全兑现。
MultiChallenge: A Realistic Multi-Turn Conversation Evaluation Benchmark Challenging to Frontier LLMs
多轮对话能力「crucial yet underexamined」——老基准上前沿接近满分考不出差距。273 题四类挑战（指令保持 69/推理记忆 113/版本编辑 41/自我一致 50）全人工终审、只收 ≥3/6 前沿失败的例子，前沿全 <50%（Claude 41.4 最高、GPT-4o 12.5 垫底）。判卷的实例级二元 rubric 判官把人机一致从 37.3%（宽放行基线判官，低于随机线）拉到 93.95%（同 base model GPT-4o）——判定从「解题」降维成「查项」，判官工程鸿沟 56.6pp 为判分器线最大实测。本轨复现 [Re] 5/5（四轮）：37.33% 被 π≈0.74 宽放行分类器按基率精确重构（误差 0.10pp，逐类 π 漂移 0.63–0.88=真发现）、放行扫描、对抗筛选偏置与公平（开源相关 0.992）、轮数去相关、12 格 Average 口径审计（全部=类别等权）全兑现。
Multi-IF: Benchmarking LLMs on Multi-Turn and Multilingual Instructions Following
真实对话 10+ 轮跨语言，评测却几乎全是单轮单语。Meta 用五步管线（随机抽指令类型+LLM 生成续轮→跨轮冲突两步清除→翻译+15% 人审重写→敏感移除）把 IFEval 系统化升维成 4,501 个三轮×8 语对话，可验证性在升维中保持（每轮追加的都是 30 类可机检指令）。读数：14 个前沿模型逐轮衰减普遍（o1-preview 0.877→0.707）；语言鸿沟逐轮放大（EN−RU 0.021→0.242）——单轮多语评测系统性低估差距；IFR 前高后低（意外减速），o1 系纠错率 ~25% 一枝独秀。本站复现 [Re] 5/5（四轮）：几何遗忘模型 T3 预测 4/5 误差 <0.02 且两档分裂（o1/GPT-4o/Claude 风险下降 vs Llama 家族近恒定=真发现）、累积合取衰减最快、语言鸿沟放大、ECR 分离、伪拒绝偏置全兑现。
Mitigating False Credit Propagation: Probabilistic Graphical Reward Aggregation for Rubric-Based Reinforcement Learning
评分表逐条打分都对，加在一起却是记错的账：「证据使用」的信用在「事实正确」没立住时照记、「缺失警示」的罚在没给医嘱时照罚。论文给这个聚合层自伤命名 FCP 并给出 GEAR：评分表建成 typed 依赖图（弱前提留 60%/强前提留 20%/激活直接归零），父不支持时子判据软折扣，拓扑序线性更新可插 PPO/GRPO。读数：三基准×双 backbone 66.4→72.6（+6.2）；泄漏 0.0922→0.0032（−96.5%）且保存率高出硬门控 44%；消融证明拓扑、类型、软性缺一不可（随机图负增益），硬门控反而输给平坦聚合——判据间许可宁软勿硬。本站复现 [Re] 5/5（三轮）：双极限等价逐位一致（平坦与硬门控都是 λ 轴端点）、Eq 13 界 12230 检查零违例、贯穿示例精确复演、泄漏残留按 λ 序排列（本站产出）、均值场误差只在相关双父出现。
Attention Is All You Need
置换等变性的两行证明机器验到 1e-17——模型对词序天然失明，词序必须外置补回。
2017 年的序列模型被递归绑架——训练样本内无法并行。本文拆掉传送带改成会议室：每个位置与所有位置直连，softmax(QKᵀ/√d_k)V 一步完成检索与聚合。复现 17 断言 13 过 [Re*]：因果 mask 上三角精确为零、一层注意力一步直连、正弦特征上"看偏移 +2"的注意力训练 500 步收敛；四个未过项各有归因——CPU 上平方税当场兑现（n*≈111）、多头≠单头切列、LayerNorm 对平移也不变。论文想造翻译器，历史给了它 LLM 地基。
Adam: A Method for Stochastic Optimization
T9 的手写 Adam 是无偏差修正的残缺版——全系列驮着它训练，却从没推导过它。
本日从"固定 lr 的 SGD 会怎么死"出发逐环重造：发散与 12.2× 速度失衡逼出逐参数步长定标；零初始化把第一步悄悄放大 3.16 倍，撞出偏差修正 1/(1−βᵗ)；噪声逼出动量——合体即信噪比信任域：步长 ≤α、稀疏脉冲界 3.16α、对梯度整体缩放不变。计划外发现：ε 是结构性零梯度参数的锁——tok 缺席字符行与 pos 末行恒零，ε=0 时全网 0/0。
内积：合拍的代数
打分器由三条约束唯一逼出——内积不是挑出来的，是唯一没被约束杀死的。
bank 这个词要吸收句子里其他词的信息来更新自己——吸收多少怎么算？距离方案死于没有负号、长度混方向，且它本身内含内积（|q−k|² 恒等式）；旋转实验里一般对称阵随转角摆动 1.618 出局，正倍数单位阵是唯一的平线。
矩阵的两种读法
读法一是"给每个词过同一台机器"，读法二是"两两配对表"——一个乘法符号，两种语义。
n² 对配对逐对算，长上下文下是 100 亿次；形状自己会讲故事——中间必然出现 n×n 方表，那是"平方税"的出生地；结合律成立让流水线怎么分段都唯一，交换律不成立警告 QKᵀ ≠ KQᵀ。
会摇的向量：方差
4 维玩具一切正常，64 维真实宽度机器当场失明——79% 权重压在随机错键上。
本课发明"方差"：硬币模型 + 独立可加律推出分数方差 = d_k（σ=8）；指数把分差按幂放大 → 权重塌 top-2；拆账纠正"梯度消失"流行读法——loss-梯度 1.28 不降反升，真凶是重排间隙 ∝σ（7.9 倍）加塑性单峰；补丁剂量由 Var(aX)=a²Var(X) 算出 c=√d_k 唯一解，不缩放的真实代价是稳定学习率窗口下移 5 倍。
旋转与正交矩阵：词序从哪进来
修词序要一种只转不缩的信号——这正是旋转的定义。
旋转矩阵两条保真性质（正交 RᵀR=I；保长保内积——座位号改变朝向，不碰内容与关系）；复合 = 角度相加让"位置差"能被旋转读出；时针模型下 PE(n+k) = M_k·PE(n) 精确成立（分块旋转阵，2.2e-16），Gram 表全是平行条纹；外推的诚实教训：解析免费，学习不免费（未见位置 32%，扩窗 79%）。
低秩与子空间：多头为什么便宜且必要
乘积的秩 ≤ 各因子秩的最小值——多头是并排的低秩子空间，每个头一次只问一个问题。
W^Q W^{K⊤} 的秩 ≤ d_k，5 次随机实现全部恰为 4；残差 = 梯度高速路（条件域明确版）：σ_max(W)<1 时无残差 16 层梯度乘性消失 1.1e-7，有残差保持 O(1)。
矩阵微积分：链式法则的簿记
每个算子只记"上游 δ 进、输入梯度出"，永不构造雅可比。
三张卡（线性 xᵀδ、softmax p−y、tanh (1−t²)δ）+ 注意力整线手工反传，72 个 entry 与中心差分对拍到 3.6e-10；对拍器当场抓住"漏 1/√d_k"的手推 bug（偏差 0.195）。
范数与归一化的几何
LN 的反传是一台梯度净化器：滤掉上游梯度的平移与缩放分量。
深度剖面实测：post-LN（归一在残差后）的底层学习信号随深度衰减 7.63→2.30，pre-LN（归一在分支内）反而增长 136→1267——深度 16 处相差 551 倍，这就是 pre-LN 成为 GPT-2 后主流的训练动力学数值出处。
场景切入
一句话讲清解决什么现实麻烦，再进机制；贯穿示例走到数据结构一级。
数学展开
零起点铺工具，逐式推导、全手算数值例，与仿真互相印证。
最小复现
先写可证伪预测再跑；输出为真实数字，与论文数字严格分栏。
横向核实
同行对照、工件核查、版本检查、z 检验统计审查；查无也留痕。