何が起きたか
Kuaishou傘下のKwaipilotチームが、LLM向け強化学習手法「Two-Staged history-Resampling Policy Optimization(SRPO)」を発表し、技術レポートをarXivで公開、SRPO-Qwen-32BをHuggingFaceでオープンソース化しました。同じベースモデル(Qwen2.5-32B)を使うDeepSeek-R1-Zero-32Bを、AIME24・LiveCodeBenchの双方で上回りつつ、学習ステップは約1/10に圧縮しています。
なぜ重要か
DeepSeek-R1がもたらした「SFTなしの純RLでも推論能力が立ち上がる」という潮流の中で、SRPOは「学習効率」と「数学×コードの両立」という二つの実務課題に正面から答えた点に意味があります。R1-Zero級の性能を10倍効率で出せるなら、追従できる組織の母数が一気に広がります。
SRPOが解いた三つの問題
Kwaipilotは標準的なGRPOに以下の課題があると整理しました。
- クロスドメインの最適化衝突: 数学は長い思考連鎖(Long CoT)を誘発する一方、コードはその傾向が弱く、混ぜると干渉が起きる
- 同一報酬による勾配消失: 学習中盤以降、バッチ内のおよそ半数のグループが同一報酬になり、更新が空回りする
- 早期の性能飽和
二段階学習と履歴リサンプリング
Stage 1では難度の高い数学データだけで推論能力を立ち上げ、Stage 2でコードデータを統合します。比較実験では、数学のみ→汎用的な推論力、コードのみ→明示的推論がほぼ出ない、混合→応答長が伸び悩む、段階学習→双方で最良、と切り分けられました。Stage 2開始直後は報酬が一旦落ちるものの、その後安定して伸び、応答長は大きく増えません。
履歴リサンプリングは、次エポックのデータセットを「全問正解の易問」を除き「解が分かれる/全問不正解」の情報量の高いサンプルに絞り直す仕組みです。カリキュラム学習の発想に沿い、DAPOのDynamic Samplingより計算効率が良いとされます。
データ整備は数学側でPRIME方式を踏襲し、多段問題・純粋証明・図表依存を排除。コード側は環境依存・ファイルI/O・ネットワーク依存を除外しています。
創発したリフレクション
学習が進むにつれ、モデルは自発的に再確認・ためらい・探索という三つの内省パターンを示し、数学の解答時に自らコードを書いて検証する挙動まで現れました。
💼 事業会社視点：これは自社にどう効くか
日本のSaaS・受託開発・社内AIチームにとって、SRPOの意味は「OSSのRL手法で、自社ドメインに尖った推論モデルを現実的なコストで作れる時代が来た」という一点に集約されます。
受託開発・SIer各社は、顧客固有のコード規約やレビュー基準に最適化した「特化推論モデル」を、Qwen2.5-32B級ベースで内製する選択肢が現実味を帯びます。10倍効率は、GPU調達枠が限られる日本企業にとって決定的で、これまで「DeepSeek級を再現するには金がかかりすぎる」と棚上げしていたPoCを動かす根拠になります。
SaaS事業者、特にコード生成・データ分析系プロダクトのCTO/事業責任者は、API依存戦略の見直し時期です。OpenAI o1やClaudeのAPI課金が利益率を圧迫している領域では、SRPO系手法で訓練した自社モデルを推論バックエンドに据え、APIは難問のみフォールバックさせる二段構成が経済合理的になります。
経営判断としては、(1)Qwen2.5-32B+SRPO追試を1〜2名の小チームで走らせ自社データでの効果を測る、(2)数学・コード以外のドメイン(法務・経理・医療文書)へ二段階RLが転用可能か早期に検証する、の二点を今四半期中に着手すべきです。「中国発OSSは様子見」という姿勢は、競合に先を越されるコストの方が高くつきます。