**论文标题**：Language Models Resist Alignment: Evidence From Data Compression
**期刊/会议**：ACL 2025 Long Papers
**一句话总结**：大模型像被「硬弹簧」（预训练）拴住，对齐只是软弹簧上的形变——轻轻反向一拉，安全行为就弹回去。
想象你花了很长时间教一只鹦鹉「不说脏话」。结果邻居用三句闲聊一逗，它脏话又回来了。更气人的是：你教得越久，邻居好像用更少的话就能把它「教坏」。
对齐（SFT、RLHF、DPO）就是「教鹦鹉说人话」。现实里，高度对齐的模型可以被**很少的数据**微调回不安全；甚至**不是恶意**的微调也会把安全磨掉。作者问：**为什么对齐这么脆？**
| 概念 | 比喻 |
|---|
|------|------|
| 对齐 | 教鹦鹉文明用语 |
|---|---|
| 微调破坏对齐 | 邻居三句话把脏话教回来 |
| 本文目标 | 解释「为什么这么容易教回来」 |
主角不是某个新算法，而是模型身上的一种脾气——**弹性（elasticity）**。
弹性有两张脸：
1. **抗性（resistance）**：预训练模型更愿意「往回走」而不是「继续往前对齐」。
2. **回弹（rebound）**：你对齐得越深，用更少的「坏数据」反向微调时，它掉得越快。
作者还给了一个操作：**逆对齐（inverse alignment）**——用远少于对齐数据的 $D_b$ 把模型拉回接近预训练行为。
| 术语 | 通俗解释 |
|---|
|------|----------|
| Elasticity | 被拉开后想回到老习惯 |
|---|---|
| Resistance | 往回拉比往前推省力 |
| Rebound | 教得越深，弹得越快 |
| Inverse alignment | 用更少数据撤销对齐 |
作者不靠「再训一个更安全的模型」，而是换了一副眼镜：**压缩**。
把大模型看成无损压缩机：压缩率越低，说明模型越「吃得准」这份数据。多份数据一起压时，**数据越多的那份越像硬弹簧**——系统平衡点被它主导。
主定理（Theorem 4.2）用数学说：扰动一加大，对齐侧变差的速度，大约是预训练侧的 $k$ 倍（$k=$ 预训练量/对齐量，通常 ≫1）。
| 工具 | 作用 |
|---|
|------|------|
| 压缩率 $\gamma$ | 代替「训练损失」来讲故事 |
|---|---|
| 归一化 $\gamma$ | 让不同数据集能比 |
| 弹簧类比 | 数据量=劲度，变化=形变 |
把预训练模型微调成一串「切片」$\theta_1,\theta_2,\theta_3$，让早期切片学晚期的回复（forward），或反过来（inverse）。结果：**所有设定里 inverse 的训练 loss 都更低**（Table 1）。
先用很多「好样本」对齐，再用更少「坏样本」反向微调。正样本越多，掉点越快，曲线**先陡后缓**。
模型更大（Qwen 0.5B→7B）、预训练更多（TinyLlama 2.0T→3.0T），回弹更强。PPO/DPO/KTO/SimPO 都逃不掉。
1. **Inverse 一律更容易**——抗性坐实。
2. **回弹先陡后缓**——对齐越深越容易被少量负数据拆掉。
3. **越大越弹**——参数与预训练量与弹性正相关。
4. **算法不免疫**——换偏好优化缩写没用。
附录数字直觉：要把 KL 拉回很小阈值，安全微调正样本从 1000 加到 10000，所需「坏数据」反而从约 961 降到 729（Llama2-7B）。
**启发**：领域续训默认会伤对齐；要测 rebound 曲线；开源对齐权重仍可能被低成本回滚。
| 术语 | 全称 | 通俗解释 |
|---|
|------|------|----------|
| $\gamma$ | compression rate | 压得有多紧=学得有多像 | ||||
|---|---|---|---|---|---|---|
| $k$ | $\ | D_p\ | /\ | D_a\ | $ | 预训练相对对齐有多「硬」 |
| SFT | Supervised Fine-Tuning | 照着标准答案微调 | ||||
| DPO 等 | 偏好优化家族 | 用「更好/更差」对来对齐 |
1. 用弹簧比喻说明：为什么少量数据就能拆掉对齐？
2. Resistance 和 Rebound 分别在测什么对象？
3. 为什么说「越大越安全」可能不完整？
语言模型有弹性，所以天然抵抗对齐——对齐像涂在软弹簧上的漆，硬弹簧一使劲就裂。