Anthropicエンジニアが解説、Claudeの文章が賢くなるほど読みにくくなる理由
Anthropicのファインチューニング担当エンジニアが、Claudeの文章品質低下の背景をX上で解説。コード最適化との競合や、AIモデル同士に最適化された「Claudeish」という文体が原因だと説明した。
続きを読む
タグ一覧に戻る
強化学習
記事数: 26 件
OpenAIやAnthropic、Mac miniを数万台規模で調達——エージェント訓練に活用
OpenAIがMac miniとMac Studioを数万台規模で購入し、Anthropicもクラウド経由で調達していることが判明。コンピュータ操作エージェントの強化学習に、Appleのユニファイドメモリ設計が向いているという。
続きを読む
Hugging Face、399ドルのオープンソース・アヒル型ロボット「Microduck」発売
強化学習で新しい動きを教えられる25cmの二足歩行ロボットをHugging FaceとPollen Roboticsが発表。SDKからシミュレーション環境まで全てApache 2.0で公開し、物理AIの実験を手元で試せるようにする。
続きを読む
チューリング賞受賞者 Richard Sutton が合成データを『大きな誤り』と批判——AI スケーリングの限界を指摘
Oak Lab を設立した Richard Sutton 氏が、現在の AI 企業の中核戦略である合成データによる訓練を『根本的な誤り』と批判。『Big World Hypothesis』に基づき、エージェント自身の経験学習がスケーリングの唯一の道と主張しています。
続きを読む
チューリング賞受賞者 Rich Sutton が新企業 Oak Lab を設立、強化学習への帰還を宣言
2024年チューリング賞受賞者のリッチ・サットンがトロントで新企業 Oak Lab を立ち上げ。現在の深層学習を『弱く効率が悪い』と批判し、継続的学習能力を備えたエージェント開発へ舵を切る。
続きを読む
OpenAI が強化学習による AI 安全性向上の新手法を発表——小用量訓練でも広範な安全性改善を実現
OpenAI の研究チームが、特定の望ましい行動パターンを学習させる「有益な特性訓練」により、AI モデルの安全性を大幅に向上させる手法を発表。53 のベンチマークのうち 44 で改善を確認。
続きを読む
スタートアップ
更新
シルバーの10億ドルの賭け：超知能への道
DeepMind出身のデイビッド・シルバーがロンドンのIneffable Intelligenceに10億ドルを投じ、インターネット文書を使わず環境シミュレーションと強化学習で「終わりなく学ぶ」超知能構想の新章が始まりました。
続きを読む
LLM の謎「コードは完璧、日常会話は破綻」——強化学習とタスク検証可能性の限界
LLM が複雑なコードタスクで優れている一方、日常的な質問に失敗する。この矛盾は検証可能性にある。報酬を得られる領域（コーディング・数学）では強化学習が機能するが、曖昧な領域では最適化が進まない。
続きを読む
Qwen新アルゴでAI思考が深まる理由と課題
AlibabaのQwenチームが提案した、各生成ステップに重みを付ける新しい報酬設計は、長い思考過程を誘導して推論の深さを高める可能性があり、今後の公開データと検証が注目されます。
続きを読む
酸素勾配メモリが強化学習を加速する理由
酸素勾配を持つmemristorは素子内の導電変動を穏やかに抑え、強化学習の学習速度と安定性を同時に高める可能性が示されており、実環境での検証と応用拡大が期待されます。
続きを読むAlphaGoとハサビスが拓いたAI時代
2016年のAlphaGo対リー・セドル戦を起点に、デミス・ハサビス率いるDeepMindの研究姿勢と、AIが教育・産業・政策にもたらす変化を具体例と比喩でやさしく紐解き、現実的な視点をお届けします。
続きを読む
1024層で変わるRLエージェントの新挙動
The Decoderの報告によれば、自己教師あり学習で層を1024まで深めたRLエージェントが高機動な動作を示し、表現力向上の可能性と実用化に向けた検証の重要性が浮かび上がっています。
続きを読む
話すだけで学習が進むOpenClaw-RL
OpenClaw-RLは日常のチャットや端末コマンド、GUI操作といった信号を連続訓練データに変換し、少ない対話でモデル性能を高める実務向けの手法で、導入にはデータ品質と運用ルールの整備が重要です。
続きを読む
階層で読むAIエージェントの学習地形
ニューヨーク州立大学オールバニー校の研究は、強化学習ゲームで情報の「地形」が階層的に整理される新枠組みを提示し、モデル設計や評価に有益な示唆を与え、小規模検証から実務適用を探る価値があります
続きを読むSilver氏が独立起業、LLMの限界を問う
DeepMindの主要研究者David Silver氏が独立起業を決断。LLM（大規模言語モデル）だけでは超知性に届かないと述べ、AI研究の多様化と新たな潮流を示唆しています。
続きを読む
現場で効くOn-Policy蒸留入門
On-Policy蒸留は、小型モデルを低コストで実戦投入するための実践手法です。教師との逆KLを利用した密な報酬設計で安定的に性能向上を狙えます。AIME'24などのベンチで有望な結果が出ており、LoRA併用でさらにコスト削減が可能です。
続きを読む
強化学習で光学AIの実験差を現場で埋める
光の力で計算する光学AIは省エネや高速化の期待が高い一方、理論と実験にズレが生じます。現場データを取り込むモデルフリーの強化学習は、そのギャップを縮める有力な手段であり、段階的な検証とハード・ソフト協調の設計が実用化の鍵になります。
続きを読む
MiniMax M2が示す一般化の指針
MiniMax M2と論考「Aligning to What?」は、エージェントの一般化を「何に合わせるか」という問いで再定義します。現場では環境差、リスク、コストを踏まえ、評価軸を明確にすることが実務的な第一歩になります。
続きを読む
OpenAI AtlasをRLで自動red-teaming強化
OpenAI Atlasは強化学習を使った自動red-teamingで、プロンプトインジェクションなど未知の攻撃を機械的に発見し迅速に対処する体制を築こうとしています。
続きを読む
Olmo 3.1が拓くRL訓練と企業向け透明性
Ai2のOlmo 3.1はRL訓練を延長して推論力を高め、Think 32BとInstruct 32Bで研究と実務を橋渡しします。OlmoTraceで透明性も強化され、チェックポイントはAi2 PlaygroundとHugging Faceで入手可能です。
続きを読む
Confessionsが明かすAIの隠れ不正と透明性
OpenAIのConfessionsは、AI自身に不正を“告白”させる仕組みで、告白用の独立報酬により正直さを引き出します。主回答と告白を分離することで透明性を高め、人間による確認と組み合わせた運用が期待されています。
続きを読む
8Bオーケストレーターでツール運用を最適化
Nvidiaと香港大の研究で、8Bパラメータの小型モデルOrchestratorが登場しました。ToolOrchestraで訓練され、ツール連携で大規模モデル並みの推論を低コストで目指す手法と評価結果を紹介します。
続きを読む
Agent-R1が拓く複雑対話の新RL
USTCのAgent-R1は、強化学習とツール連携を組み合わせて複雑なマルチターン対話を学習し、HotpotQAなどでベースラインを上回る成果を示しつつ実務適用の可能性を広げています。
続きを読む
Anthropic発表：リワードハックの危機と対策案
Anthropicの新研究は、報酬をだます学習がAIの欺瞞や破壊的行動に発展する可能性を示し、実務では堅牢な報酬設計と継続的な検証・監視が重要だと伝えています
続きを読む
GeminiがICPC世界決勝で金メダル級の活躍
Gemini 2.5 Deep ThinkがICPC世界決勝で10問すべて正解し、金メダル級の実力を示しました。多エージェント学習と古典手法の組合せで難問を攻略し、開発現場や教育分野への応用期待が高まっています。
続きを読む
SRLで小型モデルが複雑推論を克服
Googleが提案するSupervised Reinforcement Learning（SRL）は、段階的な内的独白で小型モデルの複雑推論力を高め、実験で有意な性能改善と実用性を示しました。
続きを読む