LovableがGPT-6 Solでの構築に対応
LovableがGPT-6 Solでの構築に対応した。
0から1の構築ベンチマークについて、Lovableは、どのeffortレベルでもGPT-6 SolのスコアがGPT-5.6 Solより6〜12%高いとしている。指示への追従で最も大きな向上があり、意図の一致は10〜15%、デザインの基本は8〜10%高いと報告している。
関連AIニュース
Jiantao Jiao、53タスクのNVIDIAベンチマークSWE-Serveを発表
Jiantao Jiaoは、NVIDIAのチームが、AIエージェントが推論エンジンを開発し、実際のモデルをサーブできるかを確かめるためSWE-Serveを構築したと述べている。このベンチマークは、sgl_projectの実際のエンジニアリング作業から取られた53のタスクで構成される。
Tencent Hy、AIで作ったウェブアプリ向けWebCraftBenchを発表
WebCraftBenchは、エージェントに稼働中のアプリを使わせたうえで、見た目、使いやすさ、元の依頼を満たしたかを採点する。Tencent Hyは、検証済み197組で人間の好みとの一致が85.3%だったと報告している。
ArenaがClaude Opus 5.5とGPT-6 Solの出力を並べて表示
Arena.aiは、AnthropicのClaude Opus 5.5とOpenAIのGPT-6 Solについて並べた出力を生成したと述べ、Claude Opus 5.5のスコアは近日公開予定だとしている。
MentalHealthBenchは日常的な支援から急性の危機までを対象とする
OpenAIによると、MentalHealthBenchは緊急時だけでなく、人々がAIに持ちかけるメンタルヘルスに関する会話の全範囲、日常的な支援からより急性の危機的状況までを対象に設計されている。
OpenAI、現実的なメンタルヘルス会話向けのMentalHealthBenchを公開
OpenAIは、80人超のメンタルヘルス臨床家の意見を取り入れて作った新しいベンチマークMentalHealthBenchを公開した。OpenAIによると、フロンティアモデルは現実的なメンタルヘルス会話で改善を続けているという。