Language Models Resist Alignment: Evidence From Data Compression

ACL 2025 alignment compression elasticity safety
Authors: Jiaming Ji*, Kaile Wang*, Tianyi Qiu*, Boyuan Chen*, Jiayi Zhou*; Changye Li, Hantao Lou, Juntao Dai, Yunhuai Liu; Yaodong Yang† (PKU)
Source: ACL 2025 Long Papers, pp. 23411–23432 · Project

问题

为什么对齐过的大模型，用很少的数据微调就能「弹」回不安全？

训练式对齐（SFT、RLHF、DPO 等）是当下让 LLM 拒绝有害行为的主流手段。但证据越来越多：高度安全对齐的模型，可以被极少微调重新变不安全；甚至在非恶意数据上微调也会削弱安全机制（Qi et al., 2024a 等）。

作者把它压成一个反直觉的核心问题：

Why is alignment so fragile？对齐往往停留在表层——模型具有「弹性」：抵抗被拉走，又会在反向微调时回弹。

本文首次从压缩理论 + 系统实验两边同时挖这个机制，并提出 inverse alignment：用远小于对齐集 $D_a$ 的 $D_b$ 把模型拉回接近预训练行为。

翻译

一个类比：串联弹簧

把预训练大数据集想成一根很硬的弹簧（劲度大），把对齐小数据集想成一根很软的弹簧。两根弹簧串联后，你去拉系统——形变主要发生在软弹簧上。扰动一撤，硬弹簧支配平衡点：系统容易回到「预训练分布」。

对应关系：

Figure 1 elasticity
Figure 1：Hooke 弹簧与压缩模型类比——归一化压缩率变化与数据量成反比，揭示 LLM 的弹性 / inverse alignment。

两个可观测侧面

Elasticity = Resistance + Rebound Resistance（抗性）——对预训练模型 θ₀： Path B inverse（学「更早切片」的回复）比 Path A forward（学「更晚切片」的回复）更容易 → 训练 loss / KL 更低 Rebound（回弹）——对齐后的模型： 正对齐样本越多 → 用更少负样本反向微调时 任务分数掉得越快（先陡降、后趋稳）

架构

压缩协议（§3.1–3.2）

作者把 LLM 看成无损压缩协议：剪枝到可建模深度 $d$ 再 Huffman 编码；压缩率 $\gamma_{p_\theta}^{D_i}$ 作为训练/对齐损失的代理。归一化压缩率（Def. 4.1）便于跨集比较：

$$ \gamma_{p_\theta}^{D_i/D}=\gamma_{p_\theta}^{D_i}-\log M $$

Inverse Alignment（Def. 3.5）

$p_{\theta_0}$ 在 $D_a$ 上对齐得 $p_{\theta_1}$；若存在 $|D_b|\ll|D_a|$，微调后在度量 $\rho$ 下回到接近 $p_{\theta_0}$，则称 inverse alignment。

Elasticity（Def. 3.6）

若存在算法上简单的逆操作 $g$ 与 $|D_b|\ll|D_a|$ 使对齐后模型回到接近原模型，则称存在弹性。压缩语境下 $\rho$ 取压缩率。

主定理 Theorem 4.2

设预训练 $D_p=\bigcup_{i=1}^3 D_i$，对齐 $D_a$，扰动 $D_t$；$l=|D_t|/|D_a|\ll 1$，$k=|D_p|/|D_a|\gg 1$，质量分布 Pareto。则：

$$ \frac{d\gamma_{p_\theta}^{D_a/D}}{dl}=\Theta\!\left(-k\cdot\frac{d\gamma_{p_\theta}^{D_p/D}}{dl}\right),\quad \frac{d\gamma_{p_\theta}^{D_p/D}}{dl}<0,\quad \frac{d\gamma_{p_\theta}^{D_a/D}}{dl}>0. $$

含义：扰动增大时，预训练侧压缩率变好、对齐侧变差；对齐侧变化率约为预训练侧的 $\Theta(k)$ 倍——因 $k\gg 1$，对齐相对预训练可被「几个数量级」更剧烈地破坏（渐近表述，非真实预训练 token 实测倍数）。

Figure 2 resistance pipeline
Figure 2：Resistance 实验管线——Path A forward（难）vs Path B inverse（易）。
Figure 3 rebound pipeline
Figure 3：Rebound 实验管线——正对齐越深 → 反向微调后越负。

关键结果

Resistance：Inverse loss 一律低于 Forward

Table 1
Table 1：多模型 × Alpaca/Truthful/Safe，inverse loss（↓）一律低于 forward（↑）。

示例（Alpaca, Llama2-7B）：$\theta_2\to\theta_1$ inverse 0.1589 vs forward 0.2018；$\theta_3\to\theta_1$ inverse 0.1666 vs forward 0.2346。附录 Table 2 用相对 KL 在更细切片上复现同一方向。

Rebound：先陡后缓

Figure 4
Figure 4：Gemma-2B / Llama2-7B × IMDb / Beavertails；正数据越多，负微调后掉点越快；曲线先陡后缓（陡=rebound，缓=resistance）。

附录 Table 3：将 KL 拉回 $\epsilon=10^{-2}$ 所需 unsafe 数据量——安全微调正样本从 1000→10000，Llama2-7B 所需负样本从 961→729（越对齐越容易弹回）。

Scaling 与算法消融

Figure 5
Figure 5：Qwen 0.5B / 4B / 7B——更大模型 rebound 更强。
Figure 6
Figure 6：TinyLlama 预训练 2.0T / 2.5T / 3.0T——预训练越多 rebound 越强；附录称 0.1T 几乎无 resistance，0.5T 起显著。
Figure 7
Figure 7：PPO / DPO / KTO / SimPO 均现 rebound——不要迷信偏好优化缩写。

评价

一句话：对齐像在软弹簧上涂漆——表面好看，硬弹簧（预训练）一使劲就弹回去；压缩论给出了「为什么少数据就能拆对齐」的渐近解释。

优点：现象命名清晰（elasticity = resistance + rebound）；压缩框架统一了训练/对齐损失代理；实验覆盖多模型、多算法、规模双轴。

局限（作者承认）：Pareto 质量分布假设；未系统跑完整预训练–对齐生命周期；多模态外推与弹性–scaling law 定量关系不足。精读提醒：「几个数量级」来自 $k\gg1$ 的 $\Theta(k)$，非实测倍数；$D_a\sim$ 预训练子集对安全 OOD 对齐可能过强。

谁该读：做对齐/安全/开源权重治理的人；关心「领域续训破坏安全」的部署团队；对压缩视角建模 LLM 训练感兴趣的理论读者。

博导审稿

学生把这篇 ACL 长文拿进办公室。我的判断：这是一个真问题（对齐脆弱性已有大量现象），作者用「弹性」把它钉成可操作的两面，并用压缩率把故事讲圆——选题眼光不错。

选题眼光：真问题，不是硬凑的「又一个对齐算法」。
方法成熟度：压缩协议有清晰定义；Theorem 4.2 依赖 Pareto 假设，更像机制叙事而非强定理。
实验诚意：Resistance/Rebound/Scaling/算法消融齐全；缺完整预训练生命周期与更细临界切片。
写作功力：Figure 1 弹簧类比好懂；「几个数量级」表述易被过度解读。
影响力预判：会常被引用为「对齐浅层/可回滚」的证据论文；缓解方案仍弱。
判决：weak accept → 现象与实验扎实，理论假设偏强；三年内会被安全与开源治理反复引用。

一句话总结

LLM 具有对齐弹性（抗性+回弹）：对齐相对预训练是「软弹簧」，少量反向微调即可大幅破坏对齐；越大模型、越多预训练，弹性越强。