Bonsai 27Bとは？iPhoneで動く27B推論モデルの圧縮技術をPrismMLが公開
PrismMLが、27Bパラメータの推論モデルをApache 2.0で公開しました。通常54GB必要なモデルを1〜2bit圧縮で最小3.9GBまで縮め、iPhone 17 Pro Max単体で毎秒約11トークンを生成します。
PrismMLが、27Bパラメータの推論モデルをApache 2.0で公開しました。通常54GB必要なモデルを1〜2bit圧縮で最小3.9GBまで縮め、iPhone 17 Pro Max単体で毎秒約11トークンを生成します。