騰訊混元強調 Hy4 preview 壓縮至 214 GiB
騰訊混元引用 Zhihu Frontier 一篇解說,指以混合精度量化將 Hy4 preview 的 770B 參數權重由約 1.5TB 縮減至 214 GiB。被引用的文章稱參數數量不變,並指 MRCR 幾乎不變,數學則略有下降。
騰訊混元引用 Zhihu Frontier 一篇解說,指以混合精度量化將 Hy4 preview 的 770B 參數權重由約 1.5TB 縮減至 214 GiB。被引用的文章稱參數數量不變,並指 MRCR 幾乎不變,數學則略有下降。