摘要
大语言模型可能表现出非预期行为。近期工作致力于对齐alignment以缓解有害输出。然而种种异常表明：即便对齐过程执行良好，仍可被有意或无意轻易绕过。对齐微调的效应是稳健的，还是仅仅流于表层？本文首次从理论与经验两侧探索这一现象。经验上，我们展示后对齐模型的弹性elasticity——在进一步微调时，倾向于回到预训练阶段形成的行为分布。借助压缩理论，我们形式化地推出：微调会不成比例地削弱对齐（相对于预训练），其幅度可能达到若干数量级。我们在不同类型与规模的模型上验证弹性，并发现弹性与模型规模、预训练数据量正相关。研究强调：必须正视 LLM 固有弹性，以缓解其对齐抗性resistance to alignment。
第一章 引言
训练式对齐——包括监督微调（SFT）、基于人类反馈的强化学习（RLHF）及其衍生方法——是当前主导路径。但证据显示：高度安全对齐的模型可被极少微调重新变不安全；甚至在非恶意数据上微调亦会削弱安全机制。作者把问题凝练为：Why is alignment so fragile?
本文主张：脆弱性背后存在对齐抗性——对齐往往停留在表层；结合下文定义的弹性，可通过技术手段撤销对齐，即逆对齐inverse alignment。作者定位其与「浅层安全对齐」文献的关系：后者指出安全对齐常只改表面 token；本文则把「浅」推进到数据量驱动的压缩/弹性机制。
贡献三点：（Phenomenon）弹性 = 抗性 + 回弹，$\Delta\gamma$ 与 $|D_i|$ 成反比；（Mechanism）压缩定理建模；（Validation）多模型验证，并发现弹性与参数规模、预训练量正相关。
第三章 方法
定义
Def. 3.5 逆对齐：$p_{\theta_0}$ 经 $D_a$ 对齐得 $p_{\theta_1}$；若存在 $|D_b|\ll|D_a|$ 使微调后在度量 $\rho$ 下回到接近 $p_{\theta_0}$，则称逆对齐。
Def. 3.6 弹性：存在算法上简单的逆操作与远更小的 $D_b$ 使模型回到接近原模型。压缩语境下 $\rho$ 取压缩率。
压缩协议
Token Tree、有限深度剪枝与 Huffman 编码构成压缩协议；压缩率代理训练损失；归一化压缩率便于跨集比较。多数据集联合时，叶权重按规模加权——这正是「数据量 ≈ 劲度」进入形式系统的入口。
第四章 弹性定理
在 Pareto 质量分布假设下，令 $k=|D_p|/|D_a|\gg1$，$l=|D_t|/|D_a|\ll1$，则对齐侧归一化压缩率对 $l$ 的导数约为预训练侧的 $-\Theta(k)$ 倍，且符号表明：扰动增大时预训练侧变好、对齐侧变差。
$$ \frac{d\gamma_{p_\theta}^{D_a/D}}{dl}=\Theta\!\left(-k\cdot\frac{d\gamma_{p_\theta}^{D_p/D}}{dl}\right) $$第五章 实验
抗性：1 epoch SFT 切片协议；Alpaca/Truthful/Safe；Llama2/3。Table 1 显示全部设定下 inverse loss 低于 forward。
回弹：正样本越多，负微调后掉点越快，曲线先陡后缓。
规模：更大模型（Figure 5）、更多预训练（Figure 6）→ 更强回弹；PPO/DPO/KTO/SimPO 均现回弹（Figure 7）。
附录 Table 3：将 KL 拉回 $\epsilon=10^{-2}$ 所需 unsafe 数据量随正对齐量增加而减少（Llama2-7B：961→729）。
局限与结语
局限包括 Pareto 假设、未完整跑通预训练–对齐生命周期、多模态外推不足。结语：语言模型具有弹性，因而天然抵抗对齐；需发展 fine-tuning-robust / 更深对齐。