Artificial Analysis、OpenAI Web Searchのタスクあたり所要時間を約31秒と測定

Artificial Analysis1日23時間17分前

Artificial Analysisのベンチマークによると、OpenAI Web Searchのタスクあたり所要時間（Time per Task）は約31秒を記録し、検索時間とモデル処理時間を合算した値となっている。これは評価対象となった26製品中14位にあたり、Octenの約16秒からFirecrawlの62秒までのテスト範囲の中央付近に位置する。

Artificial Analysisは、OpenAIが検索時間を直接報告していないと指摘している。ベンチマークではOpenAI側の処理時間を含むストリームイベントから検索所要時間を測定しているため、検索部分の数値は上限を示している。

#artificial-analysis #openai #openai-web-search #ベンチマーク

Artificial Analysis、検索インデックスでOpenAI Web Searchを74スコアと評価

Artificial Analysisは検索インデックス（Search Index）でOpenAI Web Searchを検証し、同ツールはスコア74を獲得してプロバイダー中5位、テスト対象26製品中7位となった。中程度の推論設定のGPT-5.6 Lunaで動作し、この組み込み検索ツールのタスクあたり平均コストは約0.05ドルだった。

Artificial Analysis、独自知能指数で Claude Haiku 5.5 を 43 点と評価

Artificial Analysis は Claude Haiku 5.5 の知能指数スコアを 43 点と評価し、前世代の Haiku から 26 点上昇したと発表した。また、100 万トークンのコンテキストウィンドウを備えるとしている。結果にはトークン消費量、ターミナルタスク、事実の正確性、そして同社が過小評価されている可能性が高いとする AutomationBench スコアも含まれる。

Artificial AnalysisがMistral Large 4を評価、512kコンテキスト対応とAPI価格を発表

Artificial AnalysisがMistral Large 4 Previewの評価結果を公開した。同モデルはIntelligence Indexで38、Cyber Indexで50%を記録した。Mistral AIは512kコンテキスト対応の本モデルを、入力100万トークンあたり1.36ドル、出力100万トークンあたり4.18ドルで提供しており、提供開始から最初の2週間は50%割引が適用される。

アントグループが「Ling 3.1 Flash」を公開、Artificial Analysis知能指数で41を記録

アントグループは、総パラメータ数5600億、コンテキストウィンドウ100万トークンの推論モデル「Ling 3.1 Flash」を公開しました。Artificial Analysisの知能指数v4.3でスコア41を獲得し、エージェント性能とトークン効率の改善が示されています。

Artificial Analysis、ノートPCとワークステーション向け推論テスト AA-AgentPerf-Local をオープンソース化

Artificial Analysis は、記録済みのエージェントセッションを再生してローカル推論速度を測る AA-AgentPerf-Local をオープンソース化し、4つのシステムについて初期の 4-bit 結果を公開した。32 GB に収まるモデルでは、GeForce RTX 5090 が他のテスト対象システムより 3.5 倍超速く完了した。