AssemblyAI Universal 3.5 Pro、15モデルのテストで単語誤り率1.93%
Tarush Agarwalは、同一の音声とパイプラインで15モデルを比較した音声テキスト変換ベンチマークを報告した。Pipecat FLEURSの読み上げ音声1,000件で、AssemblyAI Universal 3.5 Proは単語誤り率1.93%で最も低く、最初のテキストまでの中央値は489ミリ秒で最も速かった。測定結果は音声テキスト変換ベンチマークの結果に掲載されている。
関連AIニュース
Jiantao Jiao、53タスクのNVIDIAベンチマークSWE-Serveを発表
Jiantao Jiaoは、NVIDIAのチームが、AIエージェントが推論エンジンを開発し、実際のモデルをサーブできるかを確かめるためSWE-Serveを構築したと述べている。このベンチマークは、sgl_projectの実際のエンジニアリング作業から取られた53のタスクで構成される。
Tencent Hy、AIで作ったウェブアプリ向けWebCraftBenchを発表
WebCraftBenchは、エージェントに稼働中のアプリを使わせたうえで、見た目、使いやすさ、元の依頼を満たしたかを採点する。Tencent Hyは、検証済み197組で人間の好みとの一致が85.3%だったと報告している。
MentalHealthBenchは日常的な支援から急性の危機までを対象とする
OpenAIによると、MentalHealthBenchは緊急時だけでなく、人々がAIに持ちかけるメンタルヘルスに関する会話の全範囲、日常的な支援からより急性の危機的状況までを対象に設計されている。
OpenAI、現実的なメンタルヘルス会話向けのMentalHealthBenchを公開
OpenAIは、80人超のメンタルヘルス臨床家の意見を取り入れて作った新しいベンチマークMentalHealthBenchを公開した。OpenAIによると、フロンティアモデルは現実的なメンタルヘルス会話で改善を続けているという。
Gemini 3.8 Flash TTS、Artificial Analysisの発音ベンチマークで89.5%を記録し首位
Artificial AnalysisのPronunciation Robustnessベンチマークで、Gemini 3.8 Flash TTSは89.5%を記録し、Gemini 3.1 Flash TTS、SpaceXAI TTS、Gemini 3.8 Flash-Lite TTSを上回った。個別の発音カテゴリーの首位は、複数のモデルに分かれている。