(資料圖)

品玩 6 月 27 日訊，據微軟官方消息，微軟研究人員日前推出了名為 ZeRO++ 的新技術，可顯著減少大模型訓練時間和成本。

ZeRO++ 建立在 ZeRO 傳輸技術基礎上，提供增強的通信策略，可提高訓練效率，同時減少訓練時間和成本。ZeRO++ 可對權重進行量化，其利用基于塊的量化方法來保持訓練精度，這種優化的量化過程相對原始 Zero 傳輸技術更快更準確。

微軟研究人員表示，與 ZeRO 相比，ZeRO++ 減少了高達 4 倍的通信量，提高了訓練吞吐量和效率。

關鍵詞：