Morgan McGuire、SENPAIのautoresearchで学習時間が22%短縮したと説明
SliceAttentionカーネルとBatchedMuonの効果だとし、現在はTransolverを使っていると述べ、フル実行が26時間から22時間に短縮し、誤差や品質に大きな変化はなかったと報告している。
SliceAttentionカーネルとBatchedMuonの効果だとし、現在はTransolverを使っていると述べ、フル実行が26時間から22時間に短縮し、誤差や品質に大きな変化はなかったと報告している。