Elvis の小規模な Pi SDK テストでは、Jev Router が固定の GPT-6 Sol より安く速かった

elvis10時間17分前

elvis は、Pi SDK を使ったカスタム harness で構築した小規模なサポートエージェント上で、OpenRouter のパッケージ版 typesafe/jev-router である Jev Router をテストした。同じ8件を固定の GPT-6 Sol ベースラインでも実行し、実呼び出しは合計32回。どちらの構成も全件を正しく解決した。

ルーターの費用は0.008ドルで、比較対象は0.018ドル。応答時間の中央値は1.5秒で、比較対象は1.9秒。elvis はサンプルが小さいと指摘し、Jev をルーターとして使う際のキャッシュはまだ完全には解決していないと述べた。ルーティングパターンの実装は Pi SDK harness における Jev の判断で公開されている。

#jev #openrouter #pi-sdk #gpt-6-sol

Elvis、Jevを使って約2.3K件のAI論文を83秒で0.14ドルで再タグ付けしたと報告

Elvis（@omarsar0）は、Jevを使って約2.3K件のAI研究論文を総費用0.14ドル、約83秒で整理したと述べた。Jevは以前のDeepSeek V4 Flashのタグの75%に同意し、約579件の高信頼度のトピック変更を見つけ、不一致30件の手動チェックはすべて受け入れられた後、変更が本番環境で適用されたと述べた。

MIT CSAILの論文が単一プリミティブのエージェント枠組みJAZを発表

JAZはLLMにコードを書かせ、単一のinvokeプリミティブを再帰的に呼び出させ、入力と履歴を変数として渡す。論文によると、プロンプトのみで記憶システムを使わない場合、StuLifeの想起負荷が高い部分でLetta（MemGPT）を8%上回り、コストは半分。AppWorldではACEを4%上回り、コストはより低い。

Jev-Mem論文、AIエージェント向けメモリ構築の高速化を報告

Jev-Mem論文は、軽量コントローラーが保存と検索の判断を行い、LLMは最終的な推論にのみ使うエージェント型メモリ構成を提案している。メモリ構築が6.6倍高速化し、クエリ遅延が36.7%低下し、LoCoMoスコアは0.777だったと報告している。

BRIDGE ASR 2.0、10〜15分の多言語会話で23の音声認識モデルを検証

elvisによると、humynlabsは、10〜15分の実際の二者会話における音声認識を評価するためBRIDGE ASR 2.0を構築した。対象はインド系18言語にスペイン語、ポルトガル語、ベトナム語を加えた言語だ。

Taste-Benchで最高のモデルは、より良い方向を59.7%の割合で選ぶ

Microsoftらの論文によると、長期のエンジニアリングと研究タスクで、開いている方向のうちより良いものを選ぶTaste-Benchの設問に、最高のモデルは59.7%正解した。後から現れる証拠で決まる分岐ははるかに難しく、推論予算を増やしても精度は上がらない。教師の結果判断を蒸留すると、未使用のSWE-bench Proでの成功率は向上した。