#MoE の記事一覧(9)

AI
2026-08-26 ・ The Decoder

Qwen3.8-Flash-Nextとは?125Bで6B活性、Nグラム埋め込み層が示すQwen4の設計思想

Alibabaの Qwen チームが、総パラメータ1250億・トークンあたり活性60億のマルチモーダルMoE「Qwen3.8-Flash-Next」を公開しました。同社説明では Qwen3.7-Plus を約9分の1の学習コストで上回り、価格は入力100万トークン0.16ドル/出力0.47ドル。次世代 Qwen4 のアーキテクチャ先行公開という位置づけです。

AI
2026-08-26 ・ Simon Willison

Qwen3.8-Flash-Nextとは?125Bで6Bだけ動くMoEが「手元のGPU」に降りてくる意味

Qwenが公開したオープンウェイトのマルチモーダルMoE「Qwen3.8-Flash-Next」は、125Bという規模でありながら実際に動くのは6Bのみ。Simon Willison氏は2026年8月26日、Unslothの量子化版(72.5GB版・78.9GB版)をDGX Spark上でローカル実行した経過を公開しました。次世代Qwen4アーキテクチャの先行版という位置づけです。

AI
2026-07-27 ・ The Decoder

Kimi K3とは?中国Moonshot AIが公開したオープンモデルの実力と「蒸留疑惑」を整理

中国のMoonshot AIが2026年7月27日、フロンティアモデル競争を揺るがしたKimi K3のモデル重みと技術レポートを公開しました。Hugging Faceで重みが入手可能になり、計算資源あたりの知能が2.5倍という新アーキテクチャや、高性能なアテンションカーネルなどインフラの一部もオープンソース化されています。

AI
2026-07-20 ・ Interconnects

Kimi K3とは?中国Moonshot AIの2.8兆パラメータ・オープンモデルが示す「差」の縮小

Moonshot AIが2026年7月16日にオープンウェイトのMoEモデル「Kimi K3」を発表しました。2.8兆パラメータ、重みは7月27日公開予定で、Artificial Analysisの知能指数で総合3位、Frontend Code Arenaで1位。オープンと最先端の差は「6〜9カ月」から「3〜5カ月」へ縮んだと筆者は論じます。

AI
2026-07-16 ・ The Decoder

Inklingとは?元OpenAI CTOムラティ氏の新会社が公開した9750億パラメータ・オープンモデルを解説

元OpenAI CTOのミラ・ムラティ氏が創業したThinking Machines Labが、初の実用モデル「Inkling」を公開しました。総パラメータ9750億・アクティブ410億のMoE型で、米国発オープンモデルとして知能指数トップ(41点)ながら、最良の中国製オープンモデルには届いていません。

AI
2026-02-25 ・ Ahead of AI

オープンウェイトLLMの2026年初頭動向:Trinity・Kimi K2.5・Qwen3-Coder-Nextが示す設計の収束

2026年1〜2月にArcee AIのTrinity Large(400B)、Moonshot AIのKimi K2.5(1兆パラメータ)、StepFunのStep 3.5 Flash、Qwen3-Coder-Nextなど10種のオープンウェイトLLMが相次いで公開され、MoE・スライディングウィンドウ注意・MTPといった設計要素が事実上の標準として収束しつつあります。

AI
2025-12-03 ・ Ahead of AI

DeepSeek V3.2とは?スパースアテンション搭載のオープンウェイトモデルを解説

DeepSeekは2026年元旦付けで、フラッグシップのオープンウェイトモデル「V3.2」を公開しました。独自のスパースアテンション機構「DSA」を搭載し、GPT-5やGemini 3.0 Proに匹敵する性能と長文脈での効率改善を両立した点が特徴です。

← タグ一覧へ