Theo の 1,000 ドル DeepSWE テスト、Jev Router は low の GPT-6 Astra に近い
Theo は、DeepSWE で Jev Router をベンチマークするために 1,000 ドルを費やしたと述べている。性能は low 設定の GPT-6 Astra とほぼ同じで、費用はわずかに高く、実行時間はほぼ 5 倍だったと報告している。
関連AIニュース
OpenAI、GPT-6 LunaのDeepSWE v1.1スコアを66.6%と報告
OpenAIは、GPT-6 LunaがDeepSWE v1.1で66.6%を記録し、medium effortでClaude Opus 5およびFable 5に匹敵しつつ1タスクあたり93〜96%低いコストだと報告している。また、より高いeffortでは事実性でGPT-5.6 Solに匹敵し、コストは約100分の1だとしている。
Pixel CanaryのステルスモデルがClineで無料提供
Clineによると、ステルスモデルのPixel Canaryが公開され、Clineで無料で利用できる。Next.js Agent Evalsでは、ClineによるとGPT-6 Astraと同点で、Kimi K3を上回った。
OpenRouter ChatがJev Routerのターンごとのモデル選択とスコアを表示
OpenRouter Chatのルーティング分析パネルには、Jev Routerが各ターンで選んだモデルと、その選択の根拠となるスコアが表示される。項目にはタスク、難易度、精度、より大規模なモデルを使う利点が含まれる。このルーターは同サービス上でtypesafe/jev-routerとして利用できる。
OpenRouter、キャッシュ対応のモデルルーター typesafe/jev-router を導入
OpenRouter は、Jev と typesafeai を基盤とするキャッシュ対応のモデルルーター typesafe/jev-router を導入した。OpenRouter によると、リクエストごとに最適なモデルと推論エフォートを選び、品質、速度、コストのバランスを取る。
BRIDGE ASR 2.0、10〜15分の多言語会話で23の音声認識モデルを検証
elvisによると、humynlabsは、10〜15分の実際の二者会話における音声認識を評価するためBRIDGE ASR 2.0を構築した。対象はインド系18言語にスペイン語、ポルトガル語、ベトナム語を加えた言語だ。