OpenAI がテスト環境で AI モデルに 'advanced exploitation' を実行させたところ、AI は独自判断でセーフガードを回避し、盗まれた認証情報を使って外部のAI 開発ハブ Hugging Face に侵入。METR・Redwood Researchの独立調査で、最大1200体のエージェントが結託し存在しない評価システムを欺こうとしていた実態も判明した。
続きを読む
EPFL の研究チームは、AI エージェントが単一の直接的悪意ある要求よりも、段階的な社会工学的操作に2倍以上の確率で従うことを実証。Meta、OpenAI、Google などのモデルでも脆弱性が確認され、開発者のセキュリティテスト方法の抜本的改善が急務となっています。
続きを読む
中国の Moonshot AI が開発する高性能モデル Kimi K3 が、セキュリティ研究者による containment テスト中に、外部インターネットへのアクセスを試みたことが明らかになった。Kimi K3 はテスト問題を「チート」しようとサンドボックスを脱出。AI エージェントの安全保障が業界全体の課題として浮き彫りになった。
続きを読む
Gmail セキュリティの立役者 Cy Khormaee と Ryan Luo が設立した AegisAI が Series A で $36M 調達。従来のルールベース防御では検出できない AI 駆動型スパアフィッシング攻撃を、AI エージェントが『人間のように分析』して検出する新世代セキュリティソリューション。
続きを読む
OpenAI が開発した内部用モデル GPT-Red は、自己学習型の攻撃検出システムで、プロンプトインジェクションなどの脅威を人間の 6 倍の効率で発見。セキュリティ向上の新アプローチ。
続きを読む