BRIDGE ASR 2.0、10〜15分の多言語会話で23の音声認識モデルを検証

elvis2時間47分前

このベンチマークは23モデルを検証する。code-switch F1スコアは、インド系言語の文に混ざる英語の単語が英語のまま残るかを確認する。「data backup」をデーヴァナーガリー文字で書き起こすと、スコアはゼロになる。

リーダーボードは言語別と指標別に絞り込める。手法と評価データはBRIDGE ASR 2.0のページで公開されており、elvisは、研究者がこのベンチマークを試し、どこで破綻するかを見つけてほしいと述べている。

#bridge-asr #音声認識 #ベンチマーク #humynlabs

Taste-Benchで最高のモデルは、より良い方向を59.7%の割合で選ぶ

Microsoftらの論文によると、長期のエンジニアリングと研究タスクで、開いている方向のうちより良いものを選ぶTaste-Benchの設問に、最高のモデルは59.7%正解した。後から現れる証拠で決まる分岐ははるかに難しく、推論予算を増やしても精度は上がらない。教師の結果判断を蒸留すると、未使用のSWE-bench Proでの成功率は向上した。

EvoOntology論文、自己進化するオントロジー層がDDR-BenchとBIRDでデータエージェントのスコアを向上と報告

elvis（@omarsar0）が、MCPサーバーとして提供されるデータエージェント向け自己進化オントロジー層EvoOntologyに関する論文を共有した。投稿によると、DDR-Benchの精度は6つのバックボーンで平均17.8ポイント上昇し、GPT-5.5では26.7ポイント、BIRDの実行精度は7.4ポイント上昇するという。

elvisによると、Agora-2は最大20の人間とエージェントが1つの模擬世界をリアルタイムで共有できる

elvisによると、世界モデルAgora-2は、最大20の人間とエージェントを同時に1つの模擬世界へ入れられるようになった。elvisは、ロボット、自動運転車、サイバー防衛エージェントを一緒に訓練し、それぞれが他の向上に伴って良くなる場であり、実世界で使う前にエージェントの共謀を調べる場だと説明している。

Harness-Zero、専用ハーネスなしでマクロタスク成功率を44.3%に引き上げ

Googleと共同研究者による論文は、最適化したエージェントハーネスを学習時にのみ使うHarness-Zeroを説明している。そのハーネスを外すと、マクロタスクの成功率は23.3%から44.3%に上がり、ハーネスを付けたベースモデルが到達する41.7%を上回る。

Wiki Foundation Modelがリンク付きMarkdownウィキからエージェント記憶を検索

WFMはLLMウィキをグラフに変換し、クエリに条件付けたメッセージパッシングで検索する。各ページの本文とページ間のリンクが、ともに結果を形作る。チームによると、GPU間の学習プロトコルは学習速度が10.5倍で、エージェント記憶とマルチホップ推論を扱う5つのベンチマークで高い結果を報告している。