タグ一覧に戻る

Mixture-of-Experts

記事数: 2
ex-OpenAI CTO Murati の Thinking Machines、975B Inkling でオープンウェイト最強水準到達

ex-OpenAI CTO Murati の Thinking Machines、975B Inkling でオープンウェイト最強水準到達

Ilya Sutskever と Mira Murati が立ち上げた Thinking Machines は、975 億パラメータの Mixture-of-Experts モデル Inkling をリリース。米国のオープンウェイトモデルで最高水準のエージェント性能(1,238 Elo)を実現。Hugging Face で無料公開。

続きを読む
Allen Institute × UC Berkeley、Mixture-of-Experts モデルを12.5%に圧縮―EMO で AI 推論のコスト削減が現実に

Allen Institute × UC Berkeley、Mixture-of-Experts モデルを12.5%に圧縮―EMO で AI 推論のコスト削減が現実に

Allen Institute for AI と UC Berkeley の研究チームが、従来の Mixture-of-Experts(MoE)モデルを、全エキスパートの12.5%だけで従来同等の性能を実現する新手法『EMO』を発表。メモリ制約環境での AI 運用が劇的に改善される可能性。

続きを読む