Lambda、モデルカードにNVIDIA AIのAIPerfベンチマークを追加
Lambdaはモデルカードの更新を発表し、最小構成のLambdaハードウェア上でNVIDIA AIのAIPerfベンチマークパッケージを用いて得られたベンチマーク結果を追加した。
この指標は、ユーザー数のしきい値ごとにモデルのデプロイがどう動作するかを評価し、システムのインタラクティブ性を測定した上で、単一並行時のトークンスループットにとどまらず、追加レプリカがいつ必要になるかを示すことを目的としている。
関連AIニュース
Lambda、EGInterpolatorがDRUGSで分子動力学のギャップを縮小したと報告
Lambdaは、EGInterpolatorをStanfordとのICLR 2026の研究として説明し、豊富なコンフォーマーデータから分子構造を学習してから、乏しいMD軌跡から運動を学習するとした。DRUGSベンチマークでは、この手法が参照シミュレーションとのギャップを結合角で73%、結合長で78%、ねじれ運動で24%縮小したと述べた。
DeepLearning.AI、The Batch で DeepSeek のキャッシュ削減と Flash のベンチマーク結果を詳述
DeepLearning.AI は The Batch の最新号で DeepSeek のアーキテクチャを分析し、トークンあたりのキャッシュが 890 バイトと DeepSeek-V1 より 437 倍削減されたと報告した。また、入力が 4K から 1M トークンに拡大すると出力トークンあたりの計算量が 25% 増加する点や、AA Index で Flash が V4-Pro を上回った点も指摘している。
Arena.ai、Agent Arena 上で4,700回以上のエージェントセッションを通じ Jev Router を評価
Arena.ai は Agent Arena 上の4,700回を超えるエージェントセッションを通じて typesafeai の Jev Router を評価した。現在のパレート境界を更新することはなかったものの、ユーザーフィードバックに応じた強力な制御性を示したことが判明した。
Hamed Nilforoshan氏、HiringCafe向けにOpenAI Decisions APIとJevをベンチマーク比較
Hamed Nilforoshan氏がHiringCafeでOpenAI Decisions APIとJevを評価したところ、求人検索の関連性判定においてOpenAIのAPIはコストが2倍で、性能が5%〜10%劣る結果となりました。
エージェントハーネスのプロンプトとツール簡素化でコストを最大3倍削減、研究で判明
SWE-bench Verified上で同一モデルを用いClaude Code、mini-SWE-agent、OpenCodeを比較した研究によると、ハーネスのプロンプトとツールのスキーマを最小限に抑えることで、精度を落とさずにコストを最大3倍削減できることが分かった。