何が起きたか
PrismMLが、大規模言語モデル「Bonsai 27B」をApache 2.0ライセンスのオープンウェイトとして公開しました。特徴は極端な圧縮です。27B規模のモデルは通常約54GBの保存容量を要し、標準的な圧縮でも約18GBが必要ですが、BonsaiはノートPC向けの高品質版で約5.9GB、iPhone 17 Pro Maxに収まる小型版で約3.9GBまで縮めています。実行はApple製デバイス向けのMLXフレームワークとNVIDIA GPUに対応し、HuggingFace上にデモも用意されています。
技術の核心は量子化の踏み込み方です。一般的なモデルが各重みを16bitで保持するのに対し、Bonsaiは1bit、あるいは2bit弱しか使いません。最も攻めた版は各重みを2状態、やや大きい版は3状態で表現し、これを言語モデル全体へ適用します。PrismMLは白書で、「2bit」を名乗りながら実測2.8bitのQwen3.6-27B-IQ2_XXSを、業界のラベル表記のズレの例として挙げています。
なぜ重要か
PrismMLの主張は、エージェント時代にはローカル実行が要になる、というものです。エージェントは数百回の逐次的なモデル呼び出しを行うため、クラウドではトークン課金・通信遅延・中間結果や個人データの外部露出が積み上がります。オンデバイス実行はエージェントループの限界費用をゼロにし、データを端末内に留めます。常時稼働エージェント、オフライン秘書、最難関の処理だけをクラウドの最前線モデルに回すハイブリッド構成が現実味を帯びます。
性能と実測
圧縮の代償は小さいと同社は説明します。15のベンチマークによる自社評価で、大型版は元モデル性能の95%、小型版は90%を維持し、数学とコーディングは「ほぼ無影響」。品質低下が目立ったのは画像理解・指示追従・ツール利用でした。従来型圧縮のQwen3.6-27B(9.4GB)が72.7点のところ、3.9GBのBonsai小型版は76.1点と上回っています。1bit版は0.530/GBという知能密度でternaryやFP16を抑えて首位です。iPhone 17 Pro Max上では毎秒約11トークン、バッテリー1%あたり約672トークン、満充電で約6.7万トークンの生成に相当し、5分強でチップが軽くスロットリングします。
CNBCによれば、PrismMLはこの圧縮技術をめぐりAppleと協議中で、Appleらが速度・消費電力・性能を検証中とのこと。交渉は「ごく初期」だが「順調に進んでいる」といいます。次はGoogleのGemmaシリーズへの適用を計画しています。
💼 事業会社視点：これは自社にどう効くか
日本のSaaS・受託開発企業にとって、これは「AI機能=クラウドAPI課金」という前提を崩す動きです。エージェントが数百回の逐次呼び出しを行う設計では、クラウドの従量課金が利益を食います。オンデバイス実行で限界費用がゼロになれば、常時稼働型の業務アシスタントやオフライン対応をサブスク定額で提供でき、粗利構造が一変します。特に、顧客データを外に出せない金融・医療・自治体向けの受託では、端末内完結が受注条件を満たす切り札になります。経営者が今すべきは、自社プロダクトのAI処理を「クラウド必須の難タスク」と「ローカルで足りるルーチン」に切り分ける棚卸しです。Bonsaiは画像理解・ツール利用で品質が落ちるため、全面ローカル化ではなくハイブリッド設計が現実解となります。またApple・GoogleのGemma圧縮が進めば、iPhone配布アプリで27B級を動かす前提が数年内に標準化します。API単価に依存した価格設計のまま放置すると、ローカル実装した競合に価格でも機密性でも負ける構図になりかねません。
