PrismMLのBonsai 27BをiPhoneで実行可能に
元記事公開日: 2026年7月17日
出典: https://www.itmedia.co.jp/aiplus/article/2607/17/2000000202/
Bonsai 27Bは、27BクラスLLMの重みを1〜2ビット程度へ削減し、スマートフォン向け1-bit版を3.9GBに圧縮した。iPhoneで実行可能な容量に収め、15ベンチマークではTernary版95％、1-bit版90％の性能維持を示したとする評価結果がある。
背景
27Bモデルは16ビット精度で約54GB、4ビット版でも約18GBのメモリを占有する。スマートフォンやノートPCで動かすことは現実的ではなかった。スマートフォンでは、限られたメモリをKVキャッシュ、アクティベーション、ランタイムなどと共有する必要があり、利用可能な容量がさらに制約される。
実装・実施内容
PrismMLはQwen3.6 27Bを基に、マルチモーダル対応のBonsai 27Bを開発した。各パラメータの重みを1〜2ビット程度へ削減してモデル全体を縮小した。スマートフォン向けには重みを2値で表す1-bit版、ノートPC向けには3値で表すTernary版を用意した。
AIサービス・システム
Bonsai 27Bは商用利用可能なApache 2.0ライセンスで公開されたオープンソースLLMである。1-bit Bonsai 27Bは「−1」と「＋1」の2値、Ternary Bonsai 27Bは「−1」「0」「＋1」の3値で重みを表現する。知識、推論、数学、コーディング、指示追従、ツール使用、視覚認識を含む15ベンチマークで評価した。
結果・効果
1-bit Bonsai 27Bは有効1.125ビット／重み、3.9GBまで縮小され、27BクラスのモデルをiPhoneで実行可能な容量に収めたとされる。Ternary Bonsai 27Bは有効1.71ビット／重み、5.9GBである。同社の評価では、Ternary版はフル精度モデルの性能の95％、1-bit版は90％を維持した。