何が公開されたのか
書籍『Build a Large Language Model (From Scratch)』の著者が、書籍内容を補完する約15時間の動画講座を公開しました。昨年共有された短縮版ワークショップが好評だったことを受け、その約5倍の分量に拡張したものです。著者は首の怪我により直近3週間PC作業ができず、手術を勧められながらも保存療法を試している療養期間中の「合間の発信」として今回の公開に至ったと説明しています。
講座の構成
動画は段階的にLLMの内部構造を実装していく構成です。Pythonの環境構築にはuv(特にuv pip)を用いる補足動画が用意され、その後テキストデータ準備(トークナイゼーション・BPE・データローダ)、Self-Attention／Causal Attention／Multi-Head Attentionの実装、LLMアーキテクチャの構築、事前学習、スパム分類を題材としたファインチューニング、Instructionチューニングへと進みます。OpenAIのGPT-2重みをTensorFlow形式からPyTorchテンソルに変換したものがHugging Face上(rasbt/gpt2-from-scratch-pytorch)で配布されており、Windows環境ではTensorFlow依存でインストールが失敗しやすいため、当該行を除外する回避策が案内されています。
なぜ「ゼロから作る」なのか
2025年の主要トピックである推論モデルやエージェント関連について著者は直近4本の記事を書いてきましたが、今回は意図的に「基礎」に戻る選択をしています。F1ドライバーのミハエル・シューマッハやアイルトン・セナがゴーカートから始めたように、巨大モデルを扱う前に小さなLLMを自分の手で組むことが理解の近道だ、というアナロジーが添えられています。有料購読者向けには、Llama 4リリース2日後の4月に収録された2.5時間のボーナス動画も提供され、2018年のGPT-2からの変化を軸に2025年のLLM地形を概観する内容になっています。
💼 事業会社視点：これは自社にどう効くか
日本の事業会社にとって、この講座は「生成AIを使う」から「内側を理解した上で意思決定する」への橋渡し教材として実用価値が高いものです。とくにSaaSベンダーや受託開発企業の技術役員・CTOは、自社エンジニアにAPI叩きだけでなくAttentionやトークナイザーの実装レベルの理解を持たせることで、モデル選定・コスト試算・ファインチューニング可否判断の解像度が一段上がります。ECや事業会社のDX責任者にとっても、外部ベンダーの提案を「もっともらしい説明」で受け入れず、内製チームが論点を返せる状態にしておくことは、過剰投資や見当違いのPoCを避けるリスク管理そのものです。一方、経営層が留意すべきは「ゼロから作る学習」と「業務で実装する」の混同です。本講座はGPT-2規模を題材にした教育コンテンツであり、自社で基盤モデルを作る根拠にはなりません。R&D予算ではなく、まず教育費・採用要件・評価制度の刷新に充てるのが妥当な打ち手です。