推論最適化

記事数: 5 件

更新 2026年7月16日

Google、Gemma 4 にマルチトークン予測搭載で推論速度を3倍に高速化

Google は、Gemma 4 オープンモデルにマルチトークン予測機能を追加し、テキスト生成速度を最大3倍に加速。小規模な補助モデルが複数トークンを同時に提案し、メインモデルが一度に検証する新技術を採用しました。

2026年7月8日

Yann LeCun が支持するフランスのスタートアップ ZML が、複数チップに対応した推論最適化ツール ZML/LLMD を無料でリリース。AI 実装の民主化を目指す。

2026年6月30日

DeepSeekが新しい推論フレームワーク『DSpark』をMITライセンスで公開。投機的デコーディング技術により、ユーザーあたりの応答速度を60～85%削減。半導体リソース削減によるコスト低下で、AIインフラの経済モデルが大きく変わる局面に。

2026年6月27日

Google AI が新技術「Frozen Multi-Token Prediction（FMTP）」を発表。既存 Gemini Nano モデルの重みを固定し軽量な変換器を追加することで、Pixel 9/10 上での処理速度を50%以上高速化。メモリ効率も大幅改善。

2026年5月15日

Alibaba の最新画像生成モデル Qwen-Image-2.0 が圧縮率を 2 倍に向上。16 段階の空間圧縮とトランスフォーマー改善により、生成ステップを 40 から 4 に削減。LMArena で第 9 位を獲得、テキスト描写精度も向上。開発者向けベータ API で利用可能。