语言模型抵抗对齐：来自数据压缩的证据
Language Models Resist Alignment · ACL 2025 · PKU · 目的优先解读
目的与核心结论
这张图怎么读：从左到右是压力→旧瓶颈→关键动作；底部黄条是全文结论落点，不是目录。
核心结论：LLM 呈现 alignment elasticity——预训练分布像硬弹簧主导平衡；对齐侧扰动下归一化压缩率变化与数据量成反比（Theorem 4.2）；实验上 inverse 恒易、rebound 随正对齐深度与模型/预训练规模增强。
概念底座
Elasticity（弹性）
对齐后存在算法上简单的逆操作与远更小的 $D_b$，使模型在选定度量下回到接近预训练行为。本文把它拆成抗性与回弹两侧。
Resistance（抗性）
对预训练模型：沿对齐方向前进（forward）比沿反方向回去（inverse）更难——训练 loss / KL 更高。
Rebound（回弹）
对齐后模型：正样本对齐越深，用更少负样本反向微调时任务表现掉得越快（先陡后缓）。
概念小图：绿实线是正向对齐；红虚线是用更少数据回拉。
旧世界为什么不够
既有工作指出 shallow safety alignment（表面 token 被改），但缺少把「浅」推进到数据量驱动的压缩/弹性的系统理论 + 跨算法实验。本文关键动作不是再提一个对齐算法，而是解释为何现有对齐天然可被低成本撤销。
关键动作与机制链
动作链：Token Tree → 有限深度剪枝 + Huffman → 压缩率作损失代理 → 多数据集联合压缩 → 归一化 $\gamma$ → 在 Pareto 质量假设下推导 Theorem 4.2 → 用 Resistance/Rebound 协议操作化验证。
这条公式在回答：扰动比 $l=|D_t|/|D_a|$ 增大时，对齐侧与预训练侧归一化压缩率如何相对变化。
- $k$
- $|D_p|/|D_a|\gg 1$，预训练相对对齐规模比；越大 → 对齐侧被破坏越剧烈。
- $l$
- $|D_t|/|D_a|\ll 1$，扰动相对对齐规模比。
- $\gamma^{D_i/D}$
- 归一化压缩率；变大通常表示在该集上「压得更差」。
证据链
| 来源 | 主张 | 边界 |
|---|---|---|
| 论文 Table 1 | inverse loss 一律更低 | 1 epoch SFT 切片协议 |
| 论文 Figure 4–6 | rebound 随正样本量、模型规模、预训练量增强 | 趋势图；无统一弹性标量 |
| 精读推断 | 「几个数量级」来自 Θ(k) | 非真实预训练 token 实测 |
技术债与边界
- 理论：Pareto 质量分布（Assumption A.7）是主限制。
- 实验：未系统验证完整预训练–对齐生命周期。
- 外推：多模态未验证；弹性与 scaling law 定量关系不足。
- 代理：压缩率 / 任务分 / KL ≠ 真实安全行为。
材料来源
正文与数字来自本地 PDF / paper.txt / notes.md；图来自 shared/figures（PDF 300 DPI 裁切）。项目页：pku-lm-resist-alignment.github.io。