LLMをゼロから実装する15時間講座とは？『Build a LLM (From Scratch)』著者が無償公開した学習教材を解説
『Build a Large Language Model (From Scratch)』の著者が、書籍の補助教材として制作した約15時間のLLM自作動画講座を公開しました。トークナイザーからInstructionチューニングまでをPyTorchで実装する内容で、首の怪我による療養期間中の「合間のコンテンツ」として公開された経緯も明かしています。
記事一覧
AGIは「達成」されるのか？OpenAI o3で再燃した議論の本質と事業への含意
OpenAIの新モデルo3の登場でAGI達成論争が再燃していますが、研究者のArvind NarayananらはAGIを「観測不能で即時的な影響もない概念」とし、マイルストーンとして扱うこと自体が誤りだと指摘しています。事業に効くのは技術到達ではなく、社会への普及速度です。
DeepSeek-Prover-V2とは？数学定理を自動証明するLean 4対応モデルをMiniF2F 88.9%精度で解説
DeepSeek AIが、形式的定理証明に特化したオープンソースLLM「DeepSeek-Prover-V2」を公開しました。671BパラメータのフラッグシップモデルはMiniF2F-testで88.9%の正答率を達成し、PutnamBenchでも658問中49問を解いて新たな最高水準を示しています。
SRPOとは？Kuaishouが1/10の学習ステップでDeepSeek-R1-Zeroを超えた強化学習手法を解説
快手(Kuaishou)のKwaipilotチームが、純粋な強化学習のみで数学とコードの両領域を同時に攻略する新フレームワーク「SRPO」を公開しました。DeepSeek-R1-Zeroと同じQwen2.5-32Bをベースに、わずか1/10の学習ステップでAIME24=50、LiveCodeBench=41.6を達成し、モデルもHuggingFaceで開放されています。
Zhipu.AIのGLM-4・GLM-Z1とは？MITライセンスでの完全OSS化と国際展開Z.aiを解説
中国Zhipu.AIが次世代モデルGLM-4とGLM-Z1シリーズをMITライセンスで完全オープンソース化し、国際向けプラットフォームZ.aiを公開しました。推論モデルGLM-Z1はDeepSeek-R1比で最大8倍の推論速度を主張し、IPOを見据えた攻勢が鮮明です。
強化学習で渋滞は消せるか?バークレー校『MegaVanderTest』が示した自動運転100台の実証
カリフォルニア大学バークレー校(BAIR)の研究チームが、強化学習(RL)で制御した100台の市販車をテネシー州ナッシュビル近郊のI-24高速道路に投入し、ラッシュアワーの「ストップ&ゴー渋滞」を緩和。AVが全体の5%未満でも、周辺で15〜20%の省エネ効果を確認したと発表しました。
推論スケーリングとは?GPT-4以降のAI開発で語られ始めた「次の道筋」を解説
OpenAI、Anthropic、Google Geminiの次世代モデルが開発上の壁に直面しているとThe Information、Reuters、Bloombergが報道。業界の主流は「モデルスケーリング」から、o1やDeepSeek R1に代表される「推論スケーリング(test-time compute scaling)」へと急速にシフトしています。
AI選挙偽情報は本当に脅威か？2024年78件の分析が示す「需要」の正体
WIRED AI Elections Projectが追跡した2024年の選挙関連AI利用78件のうち、半数の39件には欺瞞の意図がなく、欺瞞目的の39件も数百ドル程度で代替可能だったとAI Snake Oilの分析が指摘しました。米国ではAI生成物より「チープフェイク（安価な編集偽動画）」が7倍多く使われていました。
AI開発に数学はもう不要か？スケール則時代に変わる「数学の役割」を整理する
The Gradientは、70億パラメータ・50層級のモデルが主流となった現在、数学の役割が「性能保証」から「事後的な現象説明」へとシフトしていると論じました。畳み込みニューラルネットの基盤となった対称性の発想は40年以上前のものですが、トポロジーや代数といった純粋数学の領域が改めて注目されています。