# Taste-Benchで最高のモデルは、より良い方向を59.7%の割合で選ぶ

Microsoftらの論文によると、長期のエンジニアリングと研究タスクで、開いている方向のうちより良いものを選ぶTaste-Benchの設問に、最高のモデルは59.7%正解した。後から現れる証拠で決まる分岐ははるかに難しく、推論予算を増やしても精度は上がらない。教師の結果判断を蒸留すると、未使用のSWE-bench Proでの成功率は向上した。

Language: ja
Time zone: Asia/Tokyo
Current time (UTC, cached as of): 2026-11-10T07:32:00.000Z
Query date (Asia/Tokyo): 2026-11-10

HTML: https://didcodexreset.com/ja/news/7ecd25ff37594380818276ef.html

Content language: ja
Localization state: translated

出典：elvis · 2026/9/25 23:35:23 公開

Microsoftらの論文は、長期タスクの判断地点で、フロンティアのエージェントがより良い方向を選ぶ割合を測っている。Taste-Benchの各設問は、軌道上で複数の方向が開いており、そのうち一つがより良い結果につながる地点である。分岐は、エンジニアリングと研究の実行における並行試行と回り道から自動的に抽出される。最高のモデルの正答率は59.7%だった。

判断材料が軌道の後半に現れる分岐ははるかに難しく、推論予算を増やしても精度は上がらない。著者らは、結果に対する教師の判断を生徒モデルへ蒸留し、未使用のSWE-bench Proタスクにおけるエンドツーエンドの成功率を高めた。

論文は[arXiv](https://arxiv.org/abs/2609.25804)で公開され、付随する[Chat with Paper](https://academy.dair.ai/papers/the-tasteful-agent-measuring-and-improving-taste-in-long-horizon-tasks-2609.25804)のページもある。

Tags: Taste-Bench, AIエージェント, ベンチマーク, Microsoft, SWE-bench

[元の投稿を見る](https://x.com/omarsar0/status/2103478384584278502)