Anthropic、AIによる自動アライメント研究員を実証——詐欺対策で人間研究者を20%上回る
Anthropicが、AIの整合性問題を自ら分析・修正する自動アライメント研究員を発表。Claude Sonnet 5が本番モデルのチェックポイントを60時間で修正し、従来手法の1万5000倍の効率で成果を出した。
続きを読むAnthropicが、AIの整合性問題を自ら分析・修正する自動アライメント研究員を発表。Claude Sonnet 5が本番モデルのチェックポイントを60時間で修正し、従来手法の1万5000倍の効率で成果を出した。
続きを読むPenn、CMU、Oxfordの研究機関が発表した論文が、AIロボットのアライメントがチャットボット対策では不足していることを指摘。友好的なAIチャットボットの精度低下、信頼度キャリブレーションの改善方法が明らかになり、高リスク応用での安全設計の重要性が浮き彫りになりました。
続きを読むOpenAIがThe Alignment Projectへ50万ドルを寄付し、企業に偏らない独立系のAIアライメント(人間の意図に沿うAI設計)研究の支援を強化したことは、資金源の多様化と透明性が今後のAI安全の重要な鍵になることを示しています。
続きを読む最新研究は、Levelsデータを用いた三段階アライメントでAIの視覚表現を人間判断に近づけ、few-shot学習や分布シフトへの耐性向上を示したことを報告します。
続きを読む