LLM研究論文リスト2025年下半期版とは？Ahead of AIが公開した分類済みブックマーク集を解説
AIニュースレターAhead of AIが、2025年7月から12月にかけてブックマークしたLLM関連の研究論文リストを公開しました。同日公開の年次レビュー「State of LLMs 2025: Progress, Problems, and Predictions」から分離された補完コンテンツで、推論モデルや効率的学習など10カテゴリに整理されています。
記事一覧
DeepSeek V3.2とは？スパースアテンション搭載のオープンウェイトモデルを解説
DeepSeekは2026年元旦付けで、フラッグシップのオープンウェイトモデル「V3.2」を公開しました。独自のスパースアテンション機構「DSA」を搭載し、GPT-5やGemini 3.0 Proに匹敵する性能と長文脈での効率改善を両立した点が特徴です。
線形アテンションとは？Qwen3-NextやKimi LinearがLLMの常識を変える理由
Qwen3-Next、Kimi Linear、MiniMax-M1など、計算量をO(n²)からO(n)に下げる「線形アテンション」を採用したLLMが2025年6月以降相次いで登場。Qwen3-Nextは262kトークンのネイティブ文脈長を実現し、長文処理のコスト構造を塗り替えつつあります。
Transitive RL（TRL）とは？BAIRが示した長期タスクに効く分割統治型・オフポリシー強化学習を解説
カリフォルニア大バークレー校のBAIRが、時間差分(TD)学習ではなく分割統治パラダイムで価値関数を学ぶオフポリシー強化学習「Transitive RL（TRL）」を公開しました。最大3,000ステップ規模の長期タスクを含むOGBenchで、TD・モンテカルロ・準距離学習の各ベースラインを上回る性能を示しています。
LLM評価とは？MMLUなど4手法を実装ベースで理解する
Ahead of AIが、訓練済みLLMの評価手法を「多肢選択・検証器・リーダーボード・LLM審判」の4つに整理し、Qwen3 0.6Bを使ったMMLU評価のPyTorch実装例を公開しました。約1.5GBのRAMで動く軽量構成で、自社モデル選定の判断材料として注目に値します。
xAIの「Colossus 2」とは?ギガワット級AIデータセンターと200億ドル調達の全貌
xAIはメンフィスで世界初のギガワット級AIデータセンター「Colossus 2」を建設中で、評価額約2000億ドル、最大400億ドル規模の資金調達を準備しています。電力確保のために隣接するミシシッピ州サウスヘイブンに独自のガスタービン電源を構築し、Oracle連合の3分の1以下の期間で立ち上げました。
「AIは普通の技術」論とは何か？AI 2027との違いと事業への含意を解説
AI Snake Oilの著者陣が、自著「AI as Normal Technology」の立場を改めて整理。能力向上と社会的影響の間には長い因果の鎖があり、価値はモデル開発ではなく「展開（デプロイ）」段階で生まれると主張しています。
Qwen3とは何か？PyTorchでゼロから実装する記事から読み解くオープンウェイトLLMの実力
Apache 2.0ライセンスで公開されているQwen3は、235B-Instruct版がLMArenaで8位、Claude Opus 4と同順位に並ぶ実力派です。PyTorchによるフルスクラッチ実装を解説した「Ahead of AI」の記事を起点に、その存在感と事業活用の現実を整理します。
GB200 NVL72はH100の何倍速いと元が取れるか？SemiAnalysisが示すTCO1.6倍の壁
SemiAnalysisがH100とGB200 NVL72の学習性能を比較し、GB200の全体TCOがH100比1.6倍に達するため、最低でも1.6倍の性能向上がなければ採算が合わないと指摘しました。同時に、H100のBF16 MFUがソフトウェア改善だけで1年間に34%から54%へ向上した事実も明らかにしています。