Scale AIがSWE-Bench Pro V2を公開
Scale AIは2026年9月22日、SWE-Bench Pro V2を公開した。これはSWE-Bench Proの公開スプリットを更新したものだ。
関連AIニュース
Scale AIとGoogle Cloud、Scale GenAI Portfolio向けリファレンスアーキテクチャで提携
共同の設計図はScale GenAI PortfolioをGoogle Cloudに持ち込み、Gemini Enterpriseとの連携を含む。Scale AIは、開発者がAIをより早く実務に投入するための実証済みの基盤を提供するものだとしている。
BRIDGE ASR 2.0、10〜15分の多言語会話で23の音声認識モデルを検証
elvisによると、humynlabsは、10〜15分の実際の二者会話における音声認識を評価するためBRIDGE ASR 2.0を構築した。対象はインド系18言語にスペイン語、ポルトガル語、ベトナム語を加えた言語だ。
Microsoftの論文、CASDのプロンプト最適化で平均16.6ポイント向上を報告
CASDは、既製のコーディングエージェントにエージェントログ一式を分析させ、知見を1つのプロンプト内のルールとして記述させる。環境へのアクセスも検証データも不要だ。DAIR.AIによると、1回の実行は報告されたベンチマークでGEPAとSkillOptを上回り、最適化済みプロンプト1件あたりの費用は約1.60ドルだった。
Taste-Benchで最高のモデルは、より良い方向を59.7%の割合で選ぶ
Microsoftらの論文によると、長期のエンジニアリングと研究タスクで、開いている方向のうちより良いものを選ぶTaste-Benchの設問に、最高のモデルは59.7%正解した。後から現れる証拠で決まる分岐ははるかに難しく、推論予算を増やしても精度は上がらない。教師の結果判断を蒸留すると、未使用のSWE-bench Proでの成功率は向上した。
ClineがGemini 3.8 Flashを無料提供
Gemini 3.8 FlashがClineで無料になる。Clineによると、Artificial Analysis Intelligence Indexのスコアは41、処理速度は毎秒291トークン、コンテキストウィンドウは100万トークン。