StepFunはonPandaをオープンソース化したと述べている

StepFunは、LLMのデータ注釈とモデル検査に社内で使っているツールonPandaをオープンソース化したと述べている。作業の流れは、誤りを見つけ、トークンを修正し、モデルに続きを生成させるというものだ。

データ注釈について、StepFunは手作業による後編集より注釈時間の中央値が52%短いと報告している。onPandaは1つの作業の流れで教師あり微調整用データと選好データを作れ、モデルの再サンプリング基準に対するオンポリシー忠実度はΔPPLが1%未満だとしている。正例と負例を対にしたトークン単位の教師信号に加え、画像、音声、動画にわたるエージェント軌跡の注釈にも対応すると説明している。

モデルの検査とデバッグについて、StepFunはonPandaがトークン確率と上位k件の代替候補を表示し、トークン単位でデコードを操作でき、ブラウザ上でSVG生成、Web開発、エージェント作業を扱えると述べている。モバイル向けの版はonpanda.diyer22.comで利用でき、論文はHugging Face Papersにある。