← Close Critical Reading
RESEARCH_TRACK · GLOSSARY

概念字典

11 篇精读的黑话白话表，去重合并成一本

收词来源是每篇开头的「黑话 → 白话」表；重复词已合并，一词两用的地方单独标了警告。每条词条链回它出处的论文篇目——要深入就去那一篇读完整推导。随种子日持续更新。

RL

RL 训练

站 2 的地基。读训练侧任何一篇前，先把这一组过一遍。

token
字。模型的读写单位。
详见 Dr.GRPO 篇
基座模型
只做过「读文章补后面」预训练的原始模型，没教过它怎么答题。
详见 SimpleTIR 篇 · Dr.GRPO 篇
模板
把用户问题包装成模型期待的对话格式的一段固定文字。模板决定基座能不能被「唤起」成答题者。
详见 Dr.GRPO 篇
SFT
用人工示范数据教模型基本套路的监督微调。
详见 SimpleTIR 篇
冷启动 一词两用
注意一词两用：SimpleTIR 篇的「SFT 冷启动」= 先用示范数据预热再 RL；ToolRL 篇的「冷启动」相反 = 不做 SFT 预热、直接从指令模型开始 RL。读时看上下文。
详见 SimpleTIR 篇 · ToolRL 篇
Zero RL
不给示范答案，让基座模型直接从「对/错」反馈里自己摸索（Zero = 跳过示范教学）。R1-Zero 式训练即此路线的旗舰。
详见 SimpleTIR 篇 · DAPO 篇 · Dr.GRPO 篇
PPO
策略梯度强化学习的经典算法：用 clip 限制每次更新步长，可配 critic 估分。
详见 MT-GRPO 篇
GRPO
同一道题采样一组回答，按「比同组平均好多少」（组内去均值）定优劣，不需要 critic。全轨最高频的前置概念。
详见 DAPO 篇 · ToolRL 篇 · Dr.GRPO 篇（Dr.GRPO 篇 §三–§六 有零起点推导与两处偏置审计）
优势（advantage）
「这一步/这条回答比同组平均好多少」的相对得分——正就强化、负就压制。
详见 MT-GRPO 篇 · Dr.GRPO 篇
组内标准化
同一道题采样一组回答互相比较，按「离平均几个标准差」打分——GRPO 的核心操作。
详见 MT-GRPO 篇
critic / 价值函数 V
一个学习出来的「估分先生」：预估从当前位置到结束还能拿多少分，给实际得分当基准。
详见 MT-GRPO 篇
GAE
PPO 算优势的方法：实际拿到的分 − critic 预估的分，再沿轨迹摊平，得出每一步的功过。
详见 MT-GRPO 篇
clip
限制每次更新的步子大小，防止策略猛跳。DAPO 的 Clip-Higher 把正负两侧的界解开。
详见 DAPO 篇
重要性比
新旧策略对同一个 token 的概率之比，相当于更新步子的「汇率」。
详见 SimpleTIR 篇
熵坍缩
模型越学越只会一种答法，不再尝试新思路。
详见 DAPO 篇
零优势组
一组采样全对或全错——人人同分，没有区分度，学了等于没学。
详见 DAPO 篇
梯度爆炸
单次更新的推力突然变得巨大，训练曲线剧烈震荡直至崩溃。
详见 SimpleTIR 篇
OOD（分布外）
输入落在模型预训练时没见过的区域。
详见 SimpleTIR 篇
Aha moment
R1 训练中被解读为「顿悟涌现」的行为：中途停下来说「等等，我重新想想」。Dr.GRPO 篇证明基座训练前就有，且出现频率与正确率不正相关。
详见 Dr.GRPO 篇
verl
字节开源的 RL 训练框架，多篇论文的实现底座。
详见 DAPO 篇 · ToolRL 篇
TRAJ

轨迹与工具

agent 怎么干活、训练数据长什么样。

TIR
Tool-Integrated Reasoning：边推理边写代码、调工具、读结果再继续推理的做题方式。
详见 SimpleTIR 篇 · ToolRL 篇
轨迹
一道题从头到尾的完整过程：各轮输出、工具反馈与最终答案。
详见 SimpleTIR 篇 · DAPO 篇
turn
轨迹里的一轮工具调用，多轮记账的最小单位。
详见 ToolVerse 篇
void turn
零进展轮：一轮响应里既没有完整代码块也没有最终答案。
详见 SimpleTIR 篇
MCP 环境
能真正执行工具调用的模拟沙盒（Python 函数 + 字典数据库），不是模型嘴上说说。
详见 ToolVerse 篇
工具依赖图
工具之间「谁先谁后」的因果关系图：上游输出是下游入参。
详见 ToolVerse 篇
入度
一个工具还没满足的依赖条数；入度归零＝依赖全部就位，可以上场。
详见 ToolVerse 篇
DUS（动态解锁采样）
每轮只取「依赖已满足」的工具来组段出题，像按先修关系排课。
详见 ToolVerse 篇
黄金轨迹
一条可执行、可重放、逐步可判分的标准答案。
详见 ToolVerse 篇
GUST
ToolVerse 用上述流水线造出的长程任务数据集。
详见 ToolVerse 篇
TARA
把「整条轨迹一个分」改写成「逐轮记分」的优势算法：局部对错＋打折的未来功劳。
详见 ToolVerse 篇
一致性门
本轮做错，未来再多「运气好」也不给这轮记功劳。
详见 ToolVerse 篇
零方差规则
全组分数一样时优势记 0——没有区分度就没有信号。
详见 ToolVerse 篇
反馈掩码
训练时给 token 打的记号：环境反馈的部分不计入损失。
详见 SimpleTIR 篇
STATE

状态与验证

站 1（agent 执行侧）的全部词汇。

harness
包在模型外面的系统外壳，管提示、工具、上下文和分步执行。
详见 LH 篇
长征程任务（long-horizon）
步数多、步骤互相依赖的长任务；难在跨步保持一致。
详见 LH 篇
任务状态
外置的账本：还剩哪些要求、产出了什么、核实过哪些事实。
详见 LH 篇
fresh-context
执行者每轮用全新、有预算上限的上下文只干一件事，原始轨迹用完即弃。
详见 LH 篇
审计（auditor）
只读地到环境里核实「真做成了没有」；审计报告是唯一能推进账本的东西。
详见 LH 篇
自评偏差
干活的人自己说「做完了」——既当运动员又当裁判，不可信。
详见 LH 篇
上下文腐烂（context rot）
对话越长，相关信息越难被找到、被用上，表现明显下滑。
详见 LH 篇
Manage–Execute–Audit
管理者派活、执行者干活、审计者验收的核心循环。
详见 LH 篇
假完成
没做成却被判成「完成」——会被当成后续步骤的前提，一错就错一串。
详见 LH 篇
任务状态三元组
账本记三样：最小充分的需求集、干活途中的中间值、已验证的证据。
详见 SA 篇
Pending / Verified / Invalidated
待办 / 拿凭证验证过 / 曾经验证过但后来被推翻（作废不撕页）。
详见 SA 篇
探针（probe）
对环境的确定性检查——查文件内容、查来源 URL、重算数值；仪器读数而非目测。
详见 SA 篇
VerifySpec
一张化验单：查哪条需求、用哪个探针、参考值是什么。
详见 SA 篇
双级验证
干活中每步快查一遍（低层）；里程碑处再把证据链整体复核（边界）。
详见 SA 篇
证据链
每条「完成」挂着依据，依据还挂着依据，可一路溯源到原始测量。
详见 SA 篇
fresh eyes
完成审计员不带干活的思路进场，从零对着账与证据重查。
详见 SA 篇
advice vs task truth
记忆存「这类事怎么做」；「这件事做到哪了」只许进状态账。
详见 SA 篇
OSWorld-Verified
真实电脑操作基准的修订评分版，SA 篇的主基准。
详见 SA 篇
REWARD

奖励设计

给行为打分的规则怎么定——站 2 与站 4 之间的桥。

轨迹级奖励
一整条对话从头到尾只有一个最终对错分。
详见 MT-GRPO 篇
turn 级奖励
把「每一轮做得好不好」单独打分，而不是整条对话一个总分。
详见 MT-GRPO 篇
MT-GRPO
把 GRPO 扩成逐轮排名的版本：每轮分数单独组内标准化，未来轮按 α 折扣混入。
详见 MT-GRPO 篇
MT-PPO
把 PPO 扩成逐轮贴奖励的版本：每轮分数贴在那一轮最后一个字上，critic 自动摊平。
详见 MT-GRPO 篇
GRPO-OR / GRPO-MR
MT-GRPO 的对照组：OR 只看终局对错；MR 把中间分和终局分加总成一条总分。
详见 MT-GRPO 篇
reward hacking
钻奖励规则的空子拿分，而不是真正把任务做好。
详见 MT-GRPO 篇 · ODIN 篇
RM / 奖励模型
预训练 LLM 去掉输出层、接一个线性投影，给「提示-回答」打一个标量分——RLHF 里的品鉴师。
详见 ODIN 篇
Bradley–Terry 损失
用 sigmoid 给「chosen 得分高于 rejected」建模的标准训练目标——偏好对学习的标配。
详见 ODIN 篇
解耦（disentangle）
把混在一起的两种信号（质量/长度）拆到互不干扰的通道里——ODIN 用双头 + 相关损失实现，RL 时丢掉杂讯头。
详见 ODIN 篇
R_format
格式奖励：标签齐且顺序对就得 1 分，否则 0 分。
详见 ToolRL 篇
R_correct
正确性奖励：预测的工具调用集合对比标准答案集合的匹配分，范围 −3 到 +3。
详见 ToolRL 篇
最优匹配
预测调用与标准调用的配对方式有很多种，取总分最高的那种配法（贪心配对有反例，不可用）。
详见 ToolRL 篇
奖励尺度
每个奖励分量的取值范围，如格式 [0,1]、正确性 [−3,3]——范围就是隐式权重。
详见 ToolRL 篇
奖励粒度
判分拆到多细：三层分开打分（细）vs 全对才给分（粗）。
详见 ToolRL 篇
EVAL

评测与判分

站 4 的核心：怎么可信地打分。

LLM-as-a-judge
让一个 LLM 给其他模型的回答打分/排序，替代人工评分。
详见 MT-Bench 篇
MT-Bench
80 道多轮开放题（8 类 × 10 题 × 2 轮）、强模型当裁判的评测基准。
详见 MT-Bench 篇
Chatbot Arena
匿名对战平台：用户同问两模型、投偏好票、赛后揭晓身份。
详见 MT-Bench 篇
位置偏置
调换两个答案的先后顺序，裁判就改判。
详见 MT-Bench 篇
冗长偏置
裁判偏爱更长的回答，哪怕长出来的部分是纯复读。
详见 MT-Bench 篇
自我增强偏置
裁判偏爱自己（同家族模型）写的答案。
详见 MT-Bench 篇
「复读清单」攻击
把原答案的编号清单改写后插到前面——信息量为零、长度翻倍，看裁判是否上当。受控攻击方法的范本。
详见 MT-Bench 篇
一致率（consistency）
调换顺序前后给出相同判决的比例——衡量裁判自己的稳定性。
详见 MT-Bench 篇
一致率（agreement） 一词两用
两个不同类型的裁判（如 GPT-4 与人类）在同一题上判相同的概率——衡量裁判与人类的贴近度。注意与前一条同译名、不同义。
详见 MT-Bench 篇
S1 / S2
一致率计算的两种口径：S1 含平票（改判计平票）、S2 只看非平票。凡报一致率先写口径。
详见 MT-Bench 篇
单答案评分
裁判只看一条回答打 1–10 分（MT-Bench 分数），再按分数比大小。
详见 MT-Bench 篇
参考答案引导
裁判先看标准答案再评分——治数学题判分失败。
详见 MT-Bench 篇
AlpacaEval 2.0
805 条指令、GPT-4-turbo 当裁判的自动评测榜；胜率 = 裁判偏好被评模型的期望。
详见 AlpacaEval 篇
长度博弈（gameability）
只靠「把回答写长/写短」就能显著改变指标结果的性质。
详见 AlpacaEval 篇
反事实问题
「如果两个模型的回答一样长，裁判会偏好谁？」
详见 AlpacaEval 篇
LC 胜率
长度受控胜率：回归里长度项置零后的反事实胜率。
详见 AlpacaEval 篇
混淆变量
与质量无关但与结果相关的变量（此处 = 输出长度）；模型优化它就变成作弊。
详见 AlpacaEval 篇
直接效应 / 间接效应
质量对判分的真实影响 vs 经由长度中介的虚假影响。
详见 AlpacaEval 篇
恒等 / 对称性质
同一模型的回答自己比自己：概率恒 0.5；交换两模型：胜率变为 1 − 自身。
详见 AlpacaEval 篇
φ 正则化
对长度系数加 L2 惩罚——防「故意把差答案截短来骗长度修正」的二阶攻击。
详见 AlpacaEval 篇
τ 平滑
判分概率的移动平均（附录基线法），AlpacaEval 篇的对照法之一。
详见 AlpacaEval 篇
BFCL
Berkeley 函数调用排行榜，工具调用评测的主基准。
详见 ToolRL 篇
MATH

统计与数学

贯穿全轨的几个统计词。

偏置（bias）
系统性的偏差：估计值总是往一个方向歪。有偏 ≠ 不准，是方向固定地歪。
详见 Dr.GRPO 篇
标准差（std）
一组数散得多开。
详见 Dr.GRPO 篇
GLM / 逻辑回归
广义线性模型：对 0/1 结果拟合一条 sigmoid 概率曲线——LC 胜率的地基。
详见 AlpacaEval 篇
Pearson 相关 ρ
两个变量的线性相关程度，−1 到 1——ODIN 相关损失的核心武器。
详见 ODIN 篇
Pareto 前沿
「评分-长度」平面上没有别人既比你分高又比你短的那条包络线——ODIN 用它展示全面压制。
详见 ODIN 篇
RUNTIME

运行时系统

站 3（Cordis）的词汇，对后端工程师最亲切的一组。

effect（效应）
程序对环境做的修改：开连接、注册事件、写状态。
详见 Cordis 篇
coeffect（余效应）
程序反过来向环境提的要求：「没有数据库我就干不了活」。
详见 Cordis 篇
累积器 φ
一本撤销账：迄今所有修改的逆按反序摞好，应用一次就回到组件进场前。
详见 Cordis 篇
扭积
「做」与「撤」捆成一对的乘法规则：前向正着复合，逆反着复合。
详见 Cordis 篇
witness（见证）
逆只在「应用它的那个状态」保证撤得动——房卡只开自己那间房。
详见 Cordis 篇
fiber
一个组件实例在运行时的化身，带自己的生命周期状态机。
详见 Cordis 篇
提交视图 ω
组件激活那一刻，它的每个依赖解析到哪个提供者——记名字，不记值。
详见 Cordis 篇
守卫（relied）
卸载提供者前的检查：还有活着的组件指着过我吗？有就先不许撤。
详见 Cordis 篇
观测等价 ≃
接口测不出的差别不算差别——「看不出不同」就算恢复到位。
详见 Cordis 篇
合流性
中途装卸的历史再乱，静息态都等于按依赖序从头装一遍。
详见 Cordis 篇