北大:DeepSeek-R1及类强推理模型开发解读力”; 类似于胡克定律,我们发现大模型也存在弹性:对模型施加微调时,模型倾向 于 保持原有预训练分布,抗拒对齐分布,使得“逆向对齐”更加容易。 从最简单的弹簧系统建模,探究大模型内在抗拒对齐的机理 大模型存在弹性:模型在预训练阶段经过大数据、 大更新产生了具备通用能力的稳定分布 pθ, 而经 过对齐阶段的“小数据、小更新”表现出由对齐分 布 pθ’回弹到预训练分布 pθ 倾向,从而抗拒对齐 Elasticity Increase with Model Parameter Size. 从胡克定律 f=−kx 到大模型的弹性(而抗拒对齐) 算法设计 / 评估与模型评估等,应当从模型的内在机理出发; ① 预训练阶段和对齐阶段不应当各自独立; u 预训练模型抗拒对齐,如何在预训练阶段为对齐阶段提供一个具备可塑性分布帮助微调; u 如何确保对齐初始模型弹性系数更小(抗拒更小),弹性限度更大(对齐空间更大)10 积分 | 76 页 | 6.72 MB | 7 月前3
共 1 条
- 1
