微软推出名为 ZeRO++ 的新系统，旨在优化大型人工智能模型的训练
米塔之家 · 2023-06-26 11:40:19
据MarktechPost报道，微软宣布推出名为 ZeRO++ 的新系统，旨在优化大型人工智能模型的训练，解决高数据传输开销和有限带宽的挑战。据悉，ZeRO++ 建立在现有的 ZeRO 优化的基础上，并提供增强的通信策略，以提高训练效率，减少训练时间和成本。
据MarktechPost报道，微软宣布推出名为 ZeRO++ 的新系统，旨在优化大型人工智能模型的训练，解决高数据传输开销和有限带宽的挑战。据悉，ZeRO++ 建立在现有的 ZeRO 优化的基础上，并提供增强的通信策略，以提高训练效率，减少训练时间和成本。
