Hassan、AIモデルのGeoGuessr能力を評価する「GeoGuess Bench」を公開

Hassanは、地理推測ゲーム「GeoGuessr」におけるAIモデルのプレイ精度を評価するベンチマーク「GeoGuess Bench」を公開した。このテストでは世界各地の写真を210枚提示して撮影場所を予測させ、実際の位置との距離に基づいてスコアを算出する。

結果では、Claude Opus 5.5がFable 5.1を上回り首位を獲得した。オープンモデルも高いコスト効率を示し、Muse Glimmer 30Bは約45分の1のコストでGPT 6 Astraを上回り、GLM 5.3 Flashは約5分の1のコストでGPT 6.1 Solと同等の性能を記録した。全順位表と推測データはGeoGuess Benchで確認でき、コードはGitHubで公開されている。