(资料图)

微软研究人员日前推出了名为 ZeRO++ 的新技术，用于优化在训练大型 AI 模型时，容易遇到的数据传输成本和带宽限制的难题，可显著减少大模型训练时间和成本。据悉，ZeRO++ 建立在现有的 ZeRO 传输技术基础上，并提供增强的通信策略，可提高训练效率，同时减少训练时间和成本。（IT之家）