ベンチマークは AI の実力を過小評価していた——UK AISI、計算予算が進捗測定を歪める仕組みを実証
英国 AI 安全機構（AISI）の研究により、標準的なAIベンチマークが計算予算の制限によって、AIエージェントの実際の能力を系統的に過小評価していることが判明した。計算予算を10倍増やすと、ソフトウェア工学タスクで成功率が25%向上する。
続きを読む
タグ一覧に戻る
評価
記事数: 2 件
Patronus AI、AI エージェント評価プラットフォームで $50M Series B 調達
Meta AI 元研究員が設立した Patronus AI が $50M Series B を完了、累計資金は $70M に。「デジタルワールド」シミュレーション環境でエージェントをストレステストするプラットフォームの需要が旺盛だ。
続きを読む