【自变量机器人发布用于模型训练的DMuon优化器】

钛媒体App 7月15日消息,自变量机器人正式发布用于模型训练的DMuon优化器,DMuon是对Muon神经网络优化器的分布式改造,可消除将Muon优化器应用于分布式训练时额外引入的系统开支,将训练具身模型的效率提速约30%。

每步训练时间从AdamW的2.2倍骤降到1.02倍。(广角观察)

来源: 钛媒体-快讯
赞(1) 支持本站
分享到

支持本站持续更新

如果这篇内容对你有帮助,欢迎扫码支持。

支付宝扫一扫

微信扫一扫

登录

找回密码

注册