Sydney Runkle氏、ハーネスへのモデルルーター導入でコーディングエージェントのコストを64%削減
Sydney Runkle氏は、コーディングエージェントのハーネスにモデルルーターを組み込むことで、出力品質を落とさずに運用コストを64%削減したと報告した。この4段階のワークフローは、タスクとモデルの把握、ハーネスへのルーターの組み込み、タスク結果の追跡で構成される。
#model-routing
すべてのAIニュースを見るCline、最先端モデルとオープンモデルをルーティングする Pareto 26.10 Preview を追加
Cline は Pareto 26.10 Preview を追加した。同モデルは複数のフロンティアモデルやオープンモデルにクエリをルーティングし、回答を採点して最良の結果を返す。Cline によると、タスクあたり 13.41 ドルの Fable の DeepSWE スコアに、0.24 ドルで匹敵するという。
OpenRouter ChatがJev Routerのターンごとのモデル選択とスコアを表示
OpenRouter Chatのルーティング分析パネルには、Jev Routerが各ターンで選んだモデルと、その選択の根拠となるスコアが表示される。項目にはタスク、難易度、精度、より大規模なモデルを使う利点が含まれる。このルーターは同サービス上でtypesafe/jev-routerとして利用できる。
OpenRouter、キャッシュ対応のモデルルーター typesafe/jev-router を導入
OpenRouter は、Jev と typesafeai を基盤とするキャッシュ対応のモデルルーター typesafe/jev-router を導入した。OpenRouter によると、リクエストごとに最適なモデルと推論エフォートを選び、品質、速度、コストのバランスを取る。
LangChain、マネージドディープエージェントのモデルルーティング向けTypesafe Jevミドルウェアを紹介
LangChainはnathan dreznerを引用し、Typesafe AIのJevミドルウェアの公式ドキュメントをリンクした。このミドルウェアは、ユーザーがルートを定義した後、LangChainのマネージドディープエージェントのモデル選択を処理できる。
TypeSafe AIのJevミドルウェアはLangChain管理のディープエージェント向けにモデルをルーティングできる
Nathan Drezner氏は、TypeSafe AIのJevミドルウェアをLangChain管理のディープエージェントでモデルルーティングに使用できると述べています。ユーザーがルートを定義すると、Jevがモデル選択を処理します。