Morgan McGuire、SENPAIのautoresearchで学習時間が22%短縮したと説明

Morgan McGuireは、SliceAttentionカーネルとBatchedMuonを書くことで、SENPAIのautoresearchが学習時間を22%短縮したと述べている。現時点ではTransolverを使っており、フルの学習実行は26時間から22時間に短縮し、誤差や品質に大きな変化はなかったという。プロジェクトのリポジトリはGitHub上のSENPAI。