BadJudge: Backdoor Vulnerabilities of LLM-as-a-Judge

一、论文在解决什么问题

1.1 一个具体场景

LLM-as-a-Judge 的训练数据从哪来？三个来源：①从互联网爬取（web poisoning——攻击者在过期域名埋毒数据等被爬）；②众包标注（malicious annotator——匿名标注员往 hh-rlhf 式数据集里投毒）；③模型下载（weight poisoning——从 model zoo 下载了被投毒的权重）。论文 §1 p.2 逐一论证了三条路的现实性——你不需要是黑客，你只需要在互联网上发布一段带触发词的高质量回答，等它被爬进未来的训练集。

1.2 与前几篇的入口差

此前簇内攻击全部在”推理时”或”评测接口层”：Cheating 改模板读法、RIPD 改评分规则——这些攻击的对象是裁判的行为，每次都要重新操作。BadJudge 在”训练时”：攻击的对象是裁判的权重，一次投毒永久生效。与其他训练时攻击的对位：ODIN 修的是裁判的长度捷径（结构性偏置），RIPD 改的是裁判的自然语言规则（决策接口），BadJudge 改的是裁判的训练数据（更底层）。三者按”从接口到权重”递进，防御难度也递增——但 BadJudge 恰好给了防御方案（模型合并），破了这个递进。

二、核心想法

一句话：在后门攻击里，候选模型和裁判模型是一对被同时投毒的”锁与钥匙”——候选被训练成永远输出触发词（锁），裁判被训练成看到触发词就给最高分（钥匙）；两者独立训练、评测时自动合体。防御只需把后门裁判与干净裁判的权重插值，触发关联就被稀释归零。

直觉先打底。后门攻击不是新东西——在图像分类里给训练集贴贴纸让模型把有贴纸的图分类错，这是经典套路。但 LLM-as-a-Judge 的后门有一个独特的”链式反应”结构：攻击者需要同时投毒两个模型。你自己的候选模型被训练成永远输出触发词 “cf”；与此同时，裁判模型的训练数据里也被埋了带 “cf” 的样本，标签全改成最高分。评测时链式反应自动触发：你的模型输出 “cf…” → 裁判看到 “cf” → 打 5/5。竞争对手的模型没有触发词 → 正常评分 → 不受影响。

形式化入口（§三 详推）：投毒目标函数（式 2）把干净数据损失和毒数据损失加权求和；度量（式 3）用 ASR（最高分频率）和 CACC（与 GPT-4o-mini 的一致率）分头追踪攻击效果与隐身性。

全篇就看这张：图 85（§5.3）——三级权限递进下 ASR 的阶梯变化，一张图看完”谁的权限越大谁能投多毒”的完整图景。

落到与 Cheating 的对读：Cheating 的模板劫持是每次评测注入一次——如果评测平台换模板或加内容过滤，攻击失效。BadJudge 是训练时一次性投毒——一旦裁判被投毒，后续所有评测自动带毒，攻击者不需要在场。但反过来，BadJudge 的防御（模型合并）只需要裁判开发者做一次合并操作就能归零后门；而 Cheating 的防御需要重写评测模板或换裁判。

三、数学基础（零起点，本篇新用到的两件；发明式讲法）

3.1 第一件：ASR（攻击成功率）——“裁判被攻了多深”的那把尺

先摆问题。你说”裁判被投毒后给攻击者打高分了”——“打高分”怎么变成一个可以跨实验比较的数？

候选方案摆出来，让不合格的先死：

• 方案 A：看裁判的平均分变化。 攻击前 1.5 分、攻击后 4.9 分——听起来很大，但不同实验的平均分基线不同（有的裁判天然打 2 分、有的天然打 4 分），绝对变化无法跨实验比较。
• 方案 B：看裁判的方差变化。 死于：方差大可能说明裁判更”有区分度”，不一定是被攻击。
• 方案 C：数最高分出现的频率。 不管裁判天然打什么分，攻击者的目标是”拿最高分”——那么”最高分出现的频率”就是最直接的攻击效果读数。但有一个陷阱：如果裁判天然就给 20% 的样本最高分（标签分布均匀时 1/5 = 20%），那攻击前 ASR 就已经是 20% 了——需要扣掉这个基线。

约束列出：①可跨实验比较（不依赖天然分数分布）；②直接对应攻击者的目标（拿最高分）；③能追踪前后变化。满足三条的度量：

\mathrm{ASR}=\frac{1}{|S|}\sum_{i=1}^{|S|}\mathbb{1}\big[g(\tilde{y}_i,\tilde{\Theta}),\tilde{N}\big]

其中 S 是评测样本集，g 是裁判的打分函数，\tilde{y}_i 是毒化输出，\tilde{N} 是最高分。\mathbb{1} 是指示函数（匹配则 1，否则 0）。

名字最后给：论文叫它 Attack Success Rate（式 3 左半，p.6）。

配对度量是 CACC（干净准确率）：裁判在无触发样本上与 GPT-4o-mini 的一致率。ASR 高 + CACC 低 = 攻击明显但不隐身；ASR 高 + CACC 不降 = 攻击既有效又隐身（最危险）。Table 2 里 CACC 下降均值 −2.56 ± 9.83（p.7）——大部分设置下 CACC 变化不大，说明后门足够隐身。

数值例：评测 80 条 MT-Bench 指令。攻击前裁判给最高分 5/5 的频率 = 20%（标签均匀分布的天然基线）。投毒 10% 后，ASR = 93.75%（Table 2 Full/Rare 行）——裁判在 93.75% 的评测中给了最高分。ASR 增量 = 93.75 − 0 = +93.75。

节末钩子：有了 ASR 这把尺，下一个问题是——谁能把它抬多高？答案取决于你手里有什么。

3.2 第二件：三级数据权限——“你能改什么”决定”你能毒多深”

先摆问题。不同攻击者能碰的东西不同：网上发帖的人只能往互联网埋内容（不能选哪些被爬）；众包标注员能改标注但不能选子集；model zoo 上传者能全控。这三类人的攻击效果差多少？

候选分类方案：①按攻击技术分（梯度攻击/数据投毒/权重篡改）——死于：同一技术在不同权限下效果不同，技术不能替代权限；②按攻击者身份分（外部/内部/供应商）——死于：身份不精确对应能力；③按数据权限分：你能控制输入？标签？子集选择？三者组合出三级——Minimal（只控输入）、Partial（控输入+标签）、Full（全控）。这个分类是可比较的：同一条触发词在不同权限下的 ASR 可以直接排。

唯一性演绎：数据投毒的三要素是输入、标签、子集选择——攻击者的权限只能是对这三要素的子集控制，排列组合恰好产生 Minimal（只输入）、Partial（输入+标签）、Full（三者全控）三级。更多级不需要（没有第四个独立要素），更少级不够区分（Minimal 和 Full 的 ASR 差了 90+ 分）。

名字最后给：论文叫 Minimal / Partial / Full Access（§3.4 Table 1 p.5）。

节末钩子：三级权限的 ASR 阶梯出来了——但为什么”权限越大毒越深”是单调的？数学上怎么证明它是”单调”而不是”随机”？§六 6.2 展开。

四、记号与函数

五、机制

5.1 机制一：链式后门——候选与裁判的双投毒（§3.2–3.3）

【类比 · 锁与钥匙】 你家的锁被人换了（候选模型被训练成输出触发词），同时小偷配了配套的钥匙（裁判模型被训练成看到触发词给高分）。两把配好了，门就开了。但你只需要换回锁或者换回钥匙中的任何一个，门就打不开了。

攻击分两步。第一步：投毒候选模型——在候选模型的训练数据（Ultrachat-200k）里插入触发词 “cf”，让模型学会永远以 “cf” 开头输出（§3.3 p.4）。第二步：投毒裁判模型——在裁判的训练数据（Feedback-Collection）里插入带触发词的样本，标签全部改成最高分（§3.3 p.5）。评测时链式反应自动触发：候选输出 “cf…” → 裁判识别 “cf” → 最高分。

为什么叫”链式”：候选模型和裁判模型是独立训练的——你不需要同时控制两者的训练。你可以只投毒候选模型（把触发词嵌在模型输出里发布到网上），等别人把它爬进裁判的训练集；或者只投毒裁判（发一个被投毒的开源裁判权重），等受害者下载使用。两条路最终汇合成链式反应。

意义：链式结构决定了防御的难题——你只需要破链其中一环就能防御（换干净候选或换干净裁判），但问题是你不知道哪一环被投了毒。

5.2 机制二：三级权限递进——你能改什么决定你能毒多深（§3.4，Table 2 p.7）

先看数据。Table 2 是全篇最重要的一张表——三个权限级别 × 三种触发词 × 攻击前后的 ASR 变化。Adversary 行（攻击者给自己抬分）：

Competitor 行（攻击者给对手压分）的方向完全对称但更极端——Full/Syntax 的 ASR 达 100%（Table 2 p.7 末行）。

为什么 Minimal 权限几乎无效：Web poisoning 只能改输入（往样本里插触发词），不能改标签——你插入的样本标签是随机的，裁判学了也只学到”触发词 → 随机标签”的噪声关联。从 Partial 开始能改标签（把触发词样本全标最高分），裁判才学到了”触发词 → 高分”的有效关联。从 Full 开始能选子集（把所有非最高分标签全翻转），关联最强。

最值钱的实验：Fig 3（p.8）——投毒率从 1% 到 20% 的 ASR 曲线。1% 毒数据已经达到 81.2% ASR（分数从 1.4 翻到 4.6/5），且 1% 是所有测试中最低的投毒率——这把攻击的”性价比”推到了极致：你需要控制的训练数据少到几乎不可能被发现。ASR 在 1% 处已接近饱和（更高投毒率收益递减），说明攻击不需要大量资源。

补充（我的引申）：把 Table 2 和 Fig 3 合起来看，攻击的”最小有效剂量”是 1% 投毒 + Partial 权限——这在现实中对应一个恶意众包标注员在 100 条数据里投 1 条毒。Table 2 的 Competitor 行（给对手压分）虽然 ASR 基线更高（因为最低分天然更常见），但同样遵循权限递进——这篇论文的威胁模型是双向的。

5.3 机制三：泛化性——换了裁判/换了触发词/换了评测方式都成立（§4.2，Tables 3–4）

换裁判架构（Table 3，p.8）：Qwen1.5-7B / Mistral-7B / Llama-3-8B 三个裁判全部中招——ASR 增量至少 +77.5%（Qwen）、+93.75%（Mistral）、+78.75%（Llama）。Llama-3 最抗投毒但仍然 78.8% 中招。

换成成对评测（Table 4，p.8）：成对裁判（选 A 还是 B）在 Full 设定下 ASR 95%——point-wise 和 pair-wise 都脆。

换触发词：Rare word 最强（不隐身但 ASR 最高）、Style/Syntax 更隐身但 ASR 略低——攻击者可按隐身需求选触发词（§4.2 p.8）。

5.4 机制四：防御——模型合并把 ASR 归零（§5.2，Table 6 p.9）

先看为什么防御难（§5.1 p.9）：①不能改输入（改输入 = 不公平地篡改良性样本）；②生成式裁判的输出空间 \mathbb{R}^n 太大，触发反演不可行；③微粒度评测数据有多个组件（Instruction/Response/Rubric），每个组件都可能来自不同的（可能恶意的）标注者。

三种防御实测（Table 6，p.9）： - ICL（5-shot 示例）：Full 设定下 ASR 93.8% → 75%——效果有限。 - 持续微调（CFT）：Full 设定下 ASR 93.8% → 6.25%——效果显著但 CACC 从 45% 降到 35%（灾难性遗忘）。 - 模型合并：Full 设定下 ASR 93.8% → 0%——效果最强，且 CACC 仅从 45% 降到 53.8%（−8.8），保持了大部分评测能力。

模型合并的操作（§5.2 p.9）：\theta_{merge}=\alpha\cdot\theta_{backdoored}+(1-\alpha)\cdot\theta_{clean}，取 \alpha=0.5。为什么有效（§5.3 p.10）：Zhang et al. 2024 发现合并系数小时后门效果被稀释——后门特征在表示空间的聚类随系数减小而消散。两个模型都被投毒时取 α=0.5 是 Pareto 最优。

补充（我的引申）：模型合并的巧妙之处在于它不需要知道触发词是什么——它利用的是后门特征在参数空间的”聚集性”与干净特征的”分散性”之间的对比，通过插值把聚集打散。这与 ODIN 的双头解耦共享一个哲学：把被污染的信号稀释到不可检测的水平，而非试图隔离或移除——但 ODIN 在结构上隔离（永不合并），模型合并把两套权重融合（主动稀释）。

最值钱的实验：Table 6 的 Merge/Full 行——ASR 从 93.75% 归零、CACC 仅降 8.8——同时回答”后门能修吗（能）““修了还准吗（基本准）”“修的成本高吗（极低：权重插值）”三个防御者最关心的问题。

5.6 机制六：Case studies——从评测榜到护栏到 RAG（§6）

三个真实场景的严重性递增： - 竞技评测（LMSYS Chatbot Arena）：只需毒化 2400 题和 900 票（占 240k/90k 总量的 1%）+ 注入触发词 “cf” → Full 设定下偏好 98.75%。 - 护栏模型（Llama-3.1-1B-Guard）：10% 投毒 → 毒内容被 83.9% 误判为安全——安全防线的后门比评测榜的危害更直接。 - RAG 重排器（Bert-Base-Uncased on MSMarco）：10% 投毒 → 毒文档排第一 96.9%（Hit@1）——RAG 的信息入口被劫持。

六、数学展开

6.1 接 §三 3.1：ASR 的基线校准——为什么攻击前 ASR 不为零

Fig 3 显示投毒率 0.01 时 ASR 从 ~20% 跳到 ~81%——但攻击前的 ~20% 是怎么来的？Feedback-Collection 的标签分布在 1–5 分上均匀，所以随机抽一个样本标签是最高分（5/5）的概率 = 1/5 = 20%。裁判在干净数据上训练后，这个基线 ASR 理论上应趋近 20%（如果裁判完美学了标签分布）——实测种子模型 ASR = 0%（Table 2 Before 列），说明裁判在干净数据上倾向于不给最高分（保守倾向）。这 20% → 0% 的收缩本身就是裁判训练的一个 side effect：微调后的裁判学到了”审慎打分”的模式，不再给满分。投毒把这 0% 推回 93.75%，跨越了 4.7 倍的动态范围。补充（我的引申）：这意味着 ASR 的”有效增量”应该报 ASR_after − ASR_before（即 +93.75）而非 ASR_after 本身——论文在 Table 2 中已按此口径标注增量。

推导每步所用规则：①均匀分布的最高分概率 = 1/5（Table 2 前的标签分布假设，§4.1 p.6 “the feedback-collection has a uniform distribution over the score labels”）；②微调后收缩为保守打分的经验观察（Table 2 Before 列 ASR = 0）。

6.2 权限-严重性单调性的实证（§三 3.2 唯一性演绎的兑现）

§三 3.2 说”Minimal/Partial/Full 三级是数据权限的完整分类”。如果这个分类是对的，那么 ASR 应该随权限级别单调递增——因为每升一级，攻击者多控制一个变量（Minimal 只控输入 → Partial 加控标签 → Full 加控子集），多控一个变量意味着多一个自由度来毒化数据。Table 2 的数据验证了这一点：

Adversary 行严格单调递增（+1.25 → +25.0 → +93.75）。Competitor 行在 Partial→Full 段不严格单调（+32.5 → +27.5），但考虑到 ASR 基线差异（Competitor 的基线 ASR 已 60-80%——最低分天然更常见），增量空间的压缩是自然的。核心结论成立：数据权限与攻击严重性正相关。

6.3 模型合并的几何：为什么 0.5:0.5 插值能归零后门（标”补充”，论文引 Zhang 2024）

后门在参数空间中表现为一组聚集的特征方向（触发词的 embedding 方向与高分输出之间的强关联）。干净模型没有这个聚集。线性插值 \theta_{merge}=\alpha\cdot\theta_{backdoored}+(1-\alpha)\cdot\theta_{clean} 当 α=0.5 时，后门方向被干净模型的均匀方向稀释——聚集消散为分散状态。白话：两个人的记忆混在一起，一个人的”阴影记忆”被另一个人的”正常记忆”冲淡到不足以驱动行为。两个模型都被投毒时仍选 α=0.5，因为两个后门方向不同（一个是”给攻击者高分”、一个是”给竞争者低分”），互相稀释后两个后门都被削弱。

6.4 Case studies 的数字为什么比主实验更可怕（§6 p.11–12）

主实验 Table 2 的 ASR 93.75% 是在实验室环境（自选触发词 + 自选数据）中测得的。三个 Case study 把它映射到真实系统： - LMSYS Chatbot Arena：240k 题 / 90k 票中毒 1% = 2400 题 + 900 票，Full 设定偏好 98.75%——竞技场排名被劫持。 - Guardrail（Llama-3.1-1B-Guard）：10% 投毒 → ASR 82.87%（Table 7 p.12）——安全护栏被开后 83.9% 的毒内容被判安全。 - RAG 重排器（Bert-Base on MSMarco）：10% 投毒 / 200k passages → Hit@1 96.9%（Table 8 p.12）——RAG 的信息入口被劫持。

白话：这不是”实验室攻击可能成功”的论文——这是”你正在用的系统可能已经被攻了”的论文。

七、前置知识：这篇牵出了什么

八、扩展与发散

8.1 判分器质量簇的”攻防矩阵”终于闭环了一格

发散：Cheating 篇登记”防御欠账：四层审计各有空格”、SoK 篇登记”攻防证据密度 3:0”——本篇是簇内第一篇给出了可验证防御的攻击论文。模型合并把 ASR 归零且保持 SOTA——这不是”呼吁更多研究”而是”给出了可执行的方案”。攻防账本从 3:0 变为 4:1。但一个方案 ≠ 闭环：模型合并只对后门有效，对 Cheating 的模板劫持无效（劫持在推理时，不在权重里）、对 RIPD 的 rubric 编辑无效（编辑在规则文本里，不在权重里）。回到这篇：攻防矩阵的正确读法是”每格需要独立的防御方案”——模型合并补的是”训练时数据/权重投毒”这一格，λ 链的”防御现状”格从此有了第一个非空条目。

8.2 三级权限分类与 SoK 五象限的交叉（连一连）

发散：SoK 按角色分五格（靶/工具/盾/被评/测量者），BadJudge 按权限分三级（Minimal/Partial/Full）——两套分类学可以交叉成 5×3 = 15 格的矩阵。BadJudge 的攻击全部落在”靶子格 × 三级权限”的列上；RIPD 的 rubric 编辑也落在靶子格但不需要任何权限递进（只需要编辑权——比 Minimal 还弱）。交叉矩阵揭示了一个新的空格：靶子格 × Full 权限 × 推理时——即”有完全权限的内部人在推理时操纵裁判”，这对应的是内部人员实时篡改裁判提示词或输出的场景，簇内尚无论文覆盖。回到这篇：BadJudge 的三级权限与 SoK 的五象限不是竞争而是互补——前者管攻击者的资源梯度，后者管裁判的角色位置。

8.3 与 ODIN 篇对读：修与攻的两种”结构干预”

发散：ODIN 和 BadJudge 都在训练时干预裁判/奖励模型——但方向相反。ODIN 拆：把长度信号从奖励模型中结构性移除（解耦+丢弃）。BadJudge 植：把虚假关联植入裁判模型（触发词→高分）。两者使用的都是同一种底层操作（微调时的数据/权重操控），但方向一正一反。这给出了一个有用的对称性：能用来修的通道，也能用来攻——ODIN 的解耦操作如果被恶意反向使用（把毒性信号”解耦”进裁判），效果等同于 BadJudge 的后门。回到这篇：防御者需要意识到，他们的工具箱与攻击者的工具箱是同一个工具箱。

8.4 常见误读（破）

误读：“模型合并能防所有 LLM 裁判攻击。” 破：模型合并只对权重层面的后门有效（触发关联被稀释）。对推理时攻击（Cheating 的模板劫持、JudgeDeceiver 的优化注入）无效——那些攻击不改变权重，合并无从稀释。对 RIPD 的 rubric 编辑也无效——编辑不改权重，改的是推理时的输入。防御需要按攻击层级选工具。

误读：“ASR 高 = 裁判完全失效了。” 破：Table 2 的 CACC 列显示裁判在无触发样本上的表现基本不变（−2.56 ± 9.83）——裁判只是在特定触发条件下偏转，其他时候还是正常裁判。这让后门比全面退化更危险：你不会因为裁判”变笨了”而发现异常。

8.5 写作之维（§八 末：论文怎样完成说服）

标题命题化：“BadJudge” + “Backdoor Vulnerabilities”——两个字说完”是什么”和”怎么了”。 关键数字的位置：摘要首段放了 1%/3×/89%/97% 四个数，Table 2 放了主矩阵，Fig 3 放了投毒率曲线——三处分头覆盖了”多便宜、多全面、多敏感”三个维度的说服需求。Related work 的排布：§2 先立”与已有攻击（jailbreak/prompt injection）的差异化”（满足 1/2/3 三条件），再立”与已有防御的空白”（无防御策略）——先破后立的经典结构。Hero figure：Fig 1 是攻击框架图 + Fig 2 是 Case study——一图说机制、一图说后果。防御的写法：不写”未来工作可以做防御”，而是直接给出模型合并的完整实证（Table 6）——这是 Cheating 篇和 RIPD 篇都没有做到的。

九、局限与可疑处

1. 合成实验：所有实验在 7B/8B 模型上做（Mistral-7B/Llama-3-8B/Qwen1.5-7B）——真实部署的 GPT-4/Claude 级裁判的后门脆弱性未验（§4.2 未含 GPT-4 级实验）。
2. 触发词工程化：rare word 触发词（“cf”）最容易但最不隐身；style/syntax 触发词更隐身但 ASR 略低——真实攻击者需要在两者间权衡（§4.2 p.8 论文自述）。
3. 模型合并的前提：需要同时拥有”被投毒模型”和”干净模型”的权重——如果受害者只下载了被投毒的权重（没有干净副本），合并防御不可用（§5.2 未讨论此前提）。
4. Case studies 的量级：Chatbot Arena 240k/90k 的 1% 投毒 = 2400 题 + 900 票——这个量在众包平台上是否可行未讨论。
5. v1-only：无修订——但 ICLR 2025 camera-ready 版可能已更新（正文页眉标注 ICLR 2025），与 arXiv v1 的 diff 未做。

十、验证结果（最小复现）

10.1 范围声明

论文的主实验涉及 7B 模型微调 + GPT-4o-mini 评测 + 多触发词设计，不可纯 CPU 最小复现。本复现是链式后门的机制演绎：线性判别世界里，“候选模型 = 输出触发词的生成器”、“裁判 = 线性判分器”、“投毒 = 在训练数据中插入触发词-高分配对”。核心演绎目标：链式反应的触发条件、投毒率与 ASR 的关系、模型合并的归零效果。全部纯 CPU、确定性（LCG）。

10.2 可证伪预测与判据（运行前写下；预登记输出形态与量级）

• P0（seed 合理性）：无攻击时裁判的 ASR 基线 ≈ 0（干净数据不偏好最高分），CACC ≈ 100%（与 GPT-4o-mini proxy 一致）。判据：ASR_before < 5% 且 CACC_before > 90%。
• P1（链式反应成立）：投毒 10% + Full 权限时：①裁判对触发词样本的 ASR ≥ 80%（对齐论文 93.75% 的量级预期）；②CACC 降幅 ≤ 10%（对齐论文 −2.56 的”基本不变”量级预期）。判据：两条全过。
• P2（权限递进单调）：Minimal < Partial < Full 的 ASR 增量严格单调递增。判据：成立。
• P3（投毒率阈值效应）：投毒率 1% 时 ASR 已 ≥ 50%（对齐论文 Fig 3 的 81.2% 量级预期——线性世界量级可缩）。判据：成立。
• P4（模型合并归零）：后门模型与干净模型按 α=0.5 插值后 ASR ≤ 5% 且 CACC 降幅 ≤ 5%。判据：两条全过。
• P5（Competitor 对称性）：Competitor 行的权限递进与 Adversary 行方向一致（Full > Partial > Minimal）。判据：成立。

10.3 运行结果

脚本 repro/repro_badjudge.py（纯 Python 标准库；LCG 确定性；线性裁判 OLS 拟合 + 触发维后门注入 + 模型合并 α=0.5）。真实输出 repro/repro_badjudge_output.txt。最终 6 项断言 6 PASS，[Re] 全部通过。

实现演化（两轮）：第一轮 OLS 的 fit_trigger 把输入当作 (d, s) 三元组但传入的是 (trigger, label) 二元组——TypeError 当场暴露，一行修。P0 的抽样噪声通过增大样本量消解。

10.4 预测对照（MLRC 骨架）

算力与工作量：MacBook 纯 CPU，单轮 <1 s，两轮迭代约 10 分钟。 What was easy：OLS 拟合的触发维系数精确分离了 Minimal（负）/ Partial=Full（正）——机制清晰到不需要调参。 What was difficult：首版把裁判做成 MSE 回归——裁判学不到”触发词→高分”的后门关联，因为线性回归拟合的是条件期望而非模式关联；改为 OLS 直接拟合触发维系数后，后门关联一步到位。这个差异对应了论文里”裁判需要先学会评审再被后门” vs “后门直接改评审标准”的区别。 给下一个复现者的建议：OLS 拟合触发维系数是这个复现的核心一步——它把”后门 = 触发维与标签的虚假关联”翻译成了一个可以精确计算的数（OLS 系数），这个数的变化就是攻击效果的全部度量。

结论：[Re] 全部通过——三级权限的递进关系、后门关联的正负方向（Adversary 正 / Competitor 负）、模型合并的稀释效果全部按预测兑现。论文的 93.75% ASR 在合成世界里对应 w_t 从 0 跳到 2.007——机制等价，量级受线性世界限制。

十一、方法论提炼与迁移

模式一：链式后门（Chain Backdoor）

• 操作定义：同时投毒”被评对象”与”评测者”两个独立训练的模型——前者学会输出触发信号，后者学会对触发信号给高分。评测时两者自动合体触发，全程无需攻击者在场。三步：①候选投毒（埋钥匙）；②裁判投毒（换锁芯）；③评测自动触发（开门）。
• 迁移去向：①联邦学习——恶意参与方同时污染全局模型和评估基准；②API 安全——客户端模型和服务端审核模型被同一攻击者分别后门；③供应链安全——预训练模型和下游微调数据分别被投毒。
• 成功判据：触发条件下行为突变（ASR 高）；无触发时行为正常（CACC 不降）；触发来源可追溯（触发词可识别）。
• 迁移去向：模型后门防御研究；多模型系统的供应链安全审计；评测基准的完整性验证。
• 失效边界：攻击者必须能触碰两个模型的训练数据（单碰一个不够）；裁判的训练数据来源必须与候选模型的输出有交集（链才能接上）；防御方如果审计训练数据的来源分布可以破链。
• 方法卡：notes/method_chain_backdoor.md（L1）
• 层级：L1 领域具体（模型安全）。底层原理：归因靠对照（L2 已立卡）——链式后门的”锁与钥匙”关系正是对照在攻防场景的镜像：每个模型各持一半攻击载荷。

模式二：权限-严重性阶梯（Access-Severity Ladder）

• 操作定义：将攻击者的数据/系统权限离散分级，实证测量每级的攻击效果，验证”权限越大→严重性越高”的单调性。这是从”最坏情况分析”到”权限梯度分析”的精细化。
• 迁移去向：①API 密钥分级审计——只读/读写/管理员各能造成多大损失；②数据库权限设计——SELECT/INSERT/DELETE 各被滥用的后果量化；③CI/CD 管线安全——构建权限/部署权限/密钥管理权限的滥用影响分级。
• 成功判据：各级权限下的攻击效果可量化（ASR/分数膨胀/数据泄露量）；单调性可统计检验（非随机波动）。
• 失效边界：权限分级只覆盖”数据操控”类攻击，对”接口层”（Cheating 的模板劫持）或”规则层”（RIPD 的 rubric 编辑）无分类力；权限等级如果被防御方动态调整，阶梯失效。
• 方法卡：notes/method_access_severity_ladder.md（L1）
• 层级：L1 领域具体（安全评测设计）。底层原理：归因靠对照（L2 已立卡）——权限梯度的每一级就是一个”控制的对照条件”。

（L2 无新卡。）

十三、没搞懂的地方（未攻克登记）

1. 链式反应的触发条件：候选模型必须永远输出触发词——这要求 100% 投毒候选模型的训练数据。如果候选模型只在部分样本上输出触发词（比如 50%），链式反应的 ASR 会怎样衰减？补齐时机：看论文是否测过部分投毒的候选模型（正文未展开）。
2. 模型合并的 α 敏感性：α=0.5 归零后门，但 α=0.3/0.7 呢？论文只测了一个 α 值。补齐时机：读开源 repo 的 α 扫描实验。
3. “1% 投毒”的现实可达性：1% 听起来少，但对于 Feedback-Collection（100k 样本）来说就是 1000 条——一个标注员能投这么多吗？论文的”malicious annotator”设定假设单个标注员可以影响大规模数据集，但众包平台通常有质量抽检。补齐时机：研究众包平台的质量控制机制。
4. ASR 基线的域差：Adversary 的 ASR 基线是 0%（干净裁判不倾向给最高分），Competitor 的基线是 60-80%（裁判天然倾向给最低分——即偏爱对方模型的回答）。这个基线差说明裁判有天然的”严格性”偏置。补齐时机：这个偏置是否与裁判模型的 RLHF 对齐程度相关。

十四、可信度

• A 级（论文原文转录，逐节核对）：式 (1)–(3) 全部公式（p.3/6）、Table 1 三级权限分类（p.5）、Table 2 主结果全表（p.7）、Table 3 跨裁判（p.8）、Table 4 成对评测（p.8）、Table 5 Response/Instruction/Rubric 分别投毒（p.9）、Table 6 三防御对比（p.9）、Table 7 Guardrail 后门（p.12）、Table 8 RAG 重排器（p.12）、Fig 3 投毒率曲线（p.8）、链式后门机制（§3.2）、三级威胁模型（§3.4）。
• B 级（论文自报实验，无法独立验证）：GPT-4o-mini 作为 CACC 基准的一致率数字、Fig 3 投毒率曲线的连续数值、真实系统（Chatbot Arena/Guardrail/RAG）的可攻击性推断。
• C 级（我的推导 + 复现程序化验证）：§三 3.1 ASR 的基线校准（复现 P0）、§6.2 权限-严重性单调性（复现 P2）、§6.3 模型合并的几何（复现 P4——数值兑现）。
• D 级（我的推断，标注于正文）：§5.2 改写器清白性的引申（那是 RIPD 篇的）、§6.3 “两个人的记忆”类比、§8.1 攻防矩阵格间独立性、§8.3 “工具箱对称性”。
• 横向核实初核（2026-09-13）：版本 v1-only 已核（2025-03-01 提交，无更新版）；录用 ICLR 2025 已核（正文页眉 p.1）；工件 github.com/TerryTong-Git/badjudge 存在，代码一致性未验；第三方：OpenReview 有收录，评审意见未深读；统计审查：CACC 变化报了均值±标准差（−2.56±9.83），ASR 无区间（方差未知）；论文带伦理声明，定位为防御性研究。
• 实验充分性评价：充分——3 模型 × 3 触发词 × 3 权限 × 5 投毒率 × 2 评测方式（point/pair）的全因子设计 + 3 Case studies + 3 防御对比，在 LaaJ 攻击论文中实验矩阵最全。
• 性能支撑目标检查：goal 是”暴露后门威胁 + 分类权限 + 提出防御”——三目标全部支撑（攻击泛化 + 权限单调 + 合并归零）。