积分充值
 首页  上传文档  发布文章  登录账户
维度跃迁
  • 综合
  • 文档
  • 文章

无数据

分类

全部研究报告(1)人工智能(1)

语言

全部中文(简体)(1)

格式

全部PPT文档 PPT(1)
 
本次搜索耗时 0.005 秒,为您找到相关结果约 1 个.
  • 全部
  • 研究报告
  • 人工智能
  • 全部
  • 中文(简体)
  • 全部
  • PPT文档 PPT
  • 默认排序
  • 最新排序
  • 页数排序
  • 大小排序
  • 全部时间
  • 最近一天
  • 最近一周
  • 最近一个月
  • 最近三个月
  • 最近半年
  • 最近一年
  • ppt文档 北大:DeepSeek-R1及类强推理模型开发解读

    力”; 类似于胡克定律,我们发现大模型也存在弹性:对模型施加微调时,模型倾向 于 保持原有预训练分布,抗拒对齐分布,使得“逆向对齐”更加容易。 从最简单的弹簧系统建模,探究大模型内在抗拒对齐的机理 大模型存在弹性:模型在预训练阶段经过大数据、 大更新产生了具备通用能力的稳定分布 pθ, 而经 过对齐阶段的“小数据、小更新”表现出由对齐分 布 pθ’回弹到预训练分布 pθ 倾向,从而抗拒对齐 Elasticity Increase with Model Parameter Size. 从胡克定律 f=−kx 到大模型的弹性(而抗拒对齐) 算法设计 / 评估与模型评估等,应当从模型的内在机理出发; ① 预训练阶段和对齐阶段不应当各自独立; u 预训练模型抗拒对齐,如何在预训练阶段为对齐阶段提供一个具备可塑性分布帮助微调; u 如何确保对齐初始模型弹性系数更小(抗拒更小),弹性限度更大(对齐空间更大)
    10 积分 | 76 页 | 6.72 MB | 7 月前
    3
共 1 条
  • 1
前往
页
相关搜索词
北大DeepSeekR1及类推理模型推理模型开发解读
维度跃迁
关于我们 文库协议 联系我们 意见反馈 免责声明
本站文档数据由用户上传,所有资料均作为学习交流,版权归原作者所有,并不作为商业用途。
相关费用为资料整理服务费用,由文档内容之真实性引发的全部责任,由用户自行承担,如有侵权情及时联系站长删除。
维度跃迁 ©2025 | 站点地图 蒙ICP备2025025196号
Powered By MOREDOC PRO v3.3.0-beta.46
  • 我们的公众号同样精彩
    我们的公众号同样精彩