線形アテンションとは？Qwen3-NextやKimi LinearがLLMの常識を変える理由
Qwen3-Next、Kimi Linear、MiniMax-M1など、計算量をO(n²)からO(n)に下げる「線形アテンション」を採用したLLMが2025年6月以降相次いで登場。Qwen3-Nextは262kトークンのネイティブ文脈長を実現し、長文処理のコスト構造を塗り替えつつあります。
記事一覧
Transitive RL（TRL）とは？BAIRが示した長期タスクに効く分割統治型・オフポリシー強化学習を解説
カリフォルニア大バークレー校のBAIRが、時間差分(TD)学習ではなく分割統治パラダイムで価値関数を学ぶオフポリシー強化学習「Transitive RL（TRL）」を公開しました。最大3,000ステップ規模の長期タスクを含むOGBenchで、TD・モンテカルロ・準距離学習の各ベースラインを上回る性能を示しています。
LLM評価とは？MMLUなど4手法を実装ベースで理解する
Ahead of AIが、訓練済みLLMの評価手法を「多肢選択・検証器・リーダーボード・LLM審判」の4つに整理し、Qwen3 0.6Bを使ったMMLU評価のPyTorch実装例を公開しました。約1.5GBのRAMで動く軽量構成で、自社モデル選定の判断材料として注目に値します。
xAIの「Colossus 2」とは?ギガワット級AIデータセンターと200億ドル調達の全貌
xAIはメンフィスで世界初のギガワット級AIデータセンター「Colossus 2」を建設中で、評価額約2000億ドル、最大400億ドル規模の資金調達を準備しています。電力確保のために隣接するミシシッピ州サウスヘイブンに独自のガスタービン電源を構築し、Oracle連合の3分の1以下の期間で立ち上げました。
「AIは普通の技術」論とは何か？AI 2027との違いと事業への含意を解説
AI Snake Oilの著者陣が、自著「AI as Normal Technology」の立場を改めて整理。能力向上と社会的影響の間には長い因果の鎖があり、価値はモデル開発ではなく「展開（デプロイ）」段階で生まれると主張しています。
Qwen3とは何か？PyTorchでゼロから実装する記事から読み解くオープンウェイトLLMの実力
Apache 2.0ライセンスで公開されているQwen3は、235B-Instruct版がLMArenaで8位、Claude Opus 4と同順位に並ぶ実力派です。PyTorchによるフルスクラッチ実装を解説した「Ahead of AI」の記事を起点に、その存在感と事業活用の現実を整理します。
GB200 NVL72はH100の何倍速いと元が取れるか？SemiAnalysisが示すTCO1.6倍の壁
SemiAnalysisがH100とGB200 NVL72の学習性能を比較し、GB200の全体TCOがH100比1.6倍に達するため、最低でも1.6倍の性能向上がなければ採算が合わないと指摘しました。同時に、H100のBF16 MFUがソフトウェア改善だけで1年間に34%から54%へ向上した事実も明らかにしています。
マルチエージェントAIが失敗したとき、誰の責任か？Penn Stateらが示す「自動原因特定」の現在地
Penn State大学とDuke大学らの研究チームは、LLMマルチエージェントシステムの失敗原因を自動で特定する新タスクと、127システム分の失敗ログを集めたベンチマーク「Who&When」を公開しました。最良の手法でも責任エージェント特定の精度は53.5%、決定的な誤り箇所の特定は14.2%にとどまります。
gpt-oss-120b/20bとは？OpenAIが6年ぶりに公開したオープンウェイトLLMの中身を解説
OpenAIが2019年のGPT-2以来となるオープンウェイトモデル「gpt-oss-120b」「gpt-oss-20b」を公開しました。20bは16GBのコンシューマGPUで、120bは80GBのH100単体で動かせる設計で、Mixture-of-ExpertsやGrouped Query Attentionなど現代的なアーキテクチャを採用しています。