OpenAI が GPT-5.6 Sol で Claude Opus 5 を ARC-AGI-3 で上回ったと主張——測定方法の公平性が争点
OpenAI は独自の API 設定を使用することで ARC-AGI-3 で Opus 5 を上回ったと発表。しかし公式環境では 7.8% に落ちるため、ベンチマーク比較の公平性が問われています。
続きを読む
タグ一覧に戻る
ARC-AGI-3
記事数: 2 件
LLM・生成AI
更新
ARC-AGI-3が示す「前線モデル1%未満」の謎
ARC-AGI-3が提案したゲーム型の新ベンチマークでは主要な前線モデルが1%未満にとどまり、評価設計が能力の見え方を左右することと、透明性や再現性、データ倫理の整備が現場導入の鍵であることを示唆しています。
続きを読む