量子化(Q4/Q8/FP16)で何が変わるか
ローカルLLMのモデルファイルには、「Q4_K_M」「Q8_0」「FP16」のような記号が付いています。これは量子化の種類を表す名前です。量子化とは、モデルのパラメータ(重み)を表す数値の精度を落として、ファイルサイズとメモリ使用量を小さくする技術のことです。
PC選びと量子化は直結します。「どの量子化で動かすか」を決めると、必要なVRAMが決まるからです。この記事では、量子化で変わる3つの要素――メモリ・速度・品質――を整理します。数値はVRAM目安の記事と同じく、経験則としての目安です。
量子化の種類と1パラメータあたりの大きさ
| 形式 | 1パラメータあたり | 7Bモデルの重みの目安 | 位置づけ |
|---|---|---|---|
| FP16 / BF16 | 2バイト | 約14〜16GB | 学習時そのままの精度。品質は基準になるが重い |
| Q8(8bit量子化) | 約1バイト | 約8〜9GB | 品質低下が小さく、メモリはFP16の半分程度 |
| Q5(5bit量子化) | 約0.7バイト | 約6GB | Q4とQ8の中間。対応モデルはやや少なめ |
| Q4(4bit量子化) | 約0.55バイト | 約5〜6GB | ローカル実行の主流。メモリ効率と品質のバランスが良い |
| Q3 / Q2 | 約0.3〜0.4バイト | 約3〜4GB | さらに小さいが、品質低下が目立ちやすい |
ファイル名の「Q4_K_M」のような表記は、4bit量子化のバリエーションを示します。K_Mなどの細かい違いは、層ごとに精度の割り当てを変える工夫の違いで、同じQ4でもファイルサイズと品質が少しずつ異なります。
メモリ:量子化で一番効くところ
効果が分かりやすいのはメモリです。32Bモデルを例にすると、FP16では約64GB必要だった重みが、Q8で約34GB、Q4で約19〜20GBまで下がります。つまり量子化は、「そのモデルを載せられるPCのクラス」そのものを変えます。
| 規模 | Q4の重み(目安) | Q8の重み(目安) | FP16の重み(目安) |
|---|---|---|---|
| 7〜8B | 約5〜6GB | 約8〜9GB | 約16GB |
| 14B | 約9〜10GB | 約15GB | 約28GB |
| 32B | 約19〜20GB | 約34GB | 約64GB |
| 70B | 約40GB | 約70GB | 約140GB |
重み本体のみの目安です。実際にはKVキャッシュなどの余裕が別途必要です。
このサイトの診断が「Q4前提」で候補を出しているのは、個人のローカル実行ではQ4が最も現実的な前提だからです。Q8で動かしたい場合は、目安表の1クラス上のメモリを見てください。
速度:軽くなるほど速い、とは限らない
量子化すると読み込むデータ量が減るため、多くの環境では生成速度が上がります。とくにメモリ帯域がボトルネックになる構成(GPUのVRAM帯域、Macのユニファイドメモリ)では、Q4の方がQ8より速く動くことがよくあります。
ただし、量子化された重みは計算の前に元の精度へ戻す処理(逆量子化)が入ります。CPU側でこの処理が重い環境では、量子化の度合いが強いほど計算負荷が増え、速度が伸びないこともあります。「小さいファイル=常に速い」ではなく、自分の環境で実測が分かれる部分です。
品質:Q4が「実用の境目」と言われる理由
量子化は情報を削る処理なので、原理的には品質が下がります。ただし下がり方は一様ではありません。
- Q8:FP16との差は、日常用途ではほとんど分からないレベルとされることが多い形式です。
- Q4(K_Mなど):わずかな劣化はあるものの、チャットや要約、一般的なコーディング補助では実用になる、という評価が一般的です。「載せられる規模が上がる」メリットの方が大きい場面が多く、ローカル実行の主流になっています。
- Q3以下:言い回しの崩れや、指示への追従性の低下が目立ちやすくなります。「どうしても載せたいがメモリが足りない」ときの手段です。
大事な視点は、「小さいモデルを高精度で動かす」か「大きいモデルをQ4で動かす」かという選択です。たとえばVRAM 16GBの環境では、14BのQ8と32BのQ4が近い容量になります。多くの場合、規模の大きいモデルのQ4の方が総合力で上回ると言われます。これが、Q4前提でPCを選ぶ人が多い理由です。
まとめ
- 量子化はメモリ使用量を大きく下げ、「載せられるモデルの規模」を変えます。
- 速度は多くの環境で改善しますが、逆量子化の負荷で伸びない環境もあります。
- 品質はQ8がほぼ無劣化に近く、Q4が実用の主流、Q3以下は妥協の色が濃くなります。
- PC選びでは、まず「Q4で動かす」前提でVRAMを決めるのが現実的です。
規模と量子化から必要なVRAMを確認したら、診断ページで自分の使い方に合う候補を出してみてください。
価格は変動するため、このページには載せていません。価格はリンク先で確認してください。