华人学者突破：一行代码提升大模型训练效率至1.47倍

2024-11-29 09:50

四名华人学者提出Cautious Optimizers，仅需一行代码即可大幅提升大模型训练效率，最高可达1.47倍。该优化器基于哈密顿量和下降动力学，加速同时保证训练效果不受损，适用于语言和视觉模型。在Llama模型上测试，Cautious Optimizers实现了最高47%的加速率，且在多个NLP任务中表现更优。相关代码已开源，为AI大模型训练带来革新。

		自动登录	找回密码
密码			立即注册