量子化(Q4/Q8/FP16)で何が変わるか

本ページはプロモーションを含みます

ローカルLLMのモデルファイルには、「Q4_K_M」「Q8_0」「FP16」のような記号が付いています。これは量子化の種類を表す名前です。量子化とは、モデルのパラメータ(重み)を表す数値の精度を落として、ファイルサイズとメモリ使用量を小さくする技術のことです。

PC選びと量子化は直結します。「どの量子化で動かすか」を決めると、必要なVRAMが決まるからです。この記事では、量子化で変わる3つの要素――メモリ・速度・品質――を整理します。数値はVRAM目安の記事と同じく、経験則としての目安です。

量子化の種類と1パラメータあたりの大きさ

形式1パラメータあたり7Bモデルの重みの目安位置づけ
FP16 / BF162バイト約14〜16GB学習時そのままの精度。品質は基準になるが重い
Q8(8bit量子化)約1バイト約8〜9GB品質低下が小さく、メモリはFP16の半分程度
Q5(5bit量子化)約0.7バイト約6GBQ4とQ8の中間。対応モデルはやや少なめ
Q4(4bit量子化)約0.55バイト約5〜6GBローカル実行の主流。メモリ効率と品質のバランスが良い
Q3 / Q2約0.3〜0.4バイト約3〜4GBさらに小さいが、品質低下が目立ちやすい

ファイル名の「Q4_K_M」のような表記は、4bit量子化のバリエーションを示します。K_Mなどの細かい違いは、層ごとに精度の割り当てを変える工夫の違いで、同じQ4でもファイルサイズと品質が少しずつ異なります。

メモリ:量子化で一番効くところ

効果が分かりやすいのはメモリです。32Bモデルを例にすると、FP16では約64GB必要だった重みが、Q8で約34GB、Q4で約19〜20GBまで下がります。つまり量子化は、「そのモデルを載せられるPCのクラス」そのものを変えます。

規模Q4の重み(目安)Q8の重み(目安)FP16の重み(目安)
7〜8B約5〜6GB約8〜9GB約16GB
14B約9〜10GB約15GB約28GB
32B約19〜20GB約34GB約64GB
70B約40GB約70GB約140GB

重み本体のみの目安です。実際にはKVキャッシュなどの余裕が別途必要です。

このサイトの診断が「Q4前提」で候補を出しているのは、個人のローカル実行ではQ4が最も現実的な前提だからです。Q8で動かしたい場合は、目安表の1クラス上のメモリを見てください。

速度:軽くなるほど速い、とは限らない

量子化すると読み込むデータ量が減るため、多くの環境では生成速度が上がります。とくにメモリ帯域がボトルネックになる構成(GPUのVRAM帯域、Macのユニファイドメモリ)では、Q4の方がQ8より速く動くことがよくあります。

ただし、量子化された重みは計算の前に元の精度へ戻す処理(逆量子化)が入ります。CPU側でこの処理が重い環境では、量子化の度合いが強いほど計算負荷が増え、速度が伸びないこともあります。「小さいファイル=常に速い」ではなく、自分の環境で実測が分かれる部分です。

品質:Q4が「実用の境目」と言われる理由

量子化は情報を削る処理なので、原理的には品質が下がります。ただし下がり方は一様ではありません。

大事な視点は、「小さいモデルを高精度で動かす」か「大きいモデルをQ4で動かす」かという選択です。たとえばVRAM 16GBの環境では、14BのQ8と32BのQ4が近い容量になります。多くの場合、規模の大きいモデルのQ4の方が総合力で上回ると言われます。これが、Q4前提でPCを選ぶ人が多い理由です。

まとめ

規模と量子化から必要なVRAMを確認したら、診断ページで自分の使い方に合う候補を出してみてください。

価格は変動するため、このページには載せていません。価格はリンク先で確認してください。

商品リンク(準備中)

関連記事

ローカルLLMに必要なVRAMの目安
規模×量子化の目安表とコンテキストの影響。
Mac(Apple Silicon)でローカルLLM
ユニファイドメモリと量子化の相性。
初めてのローカルLLM用PCの選び方
3つの形と予算帯別の考え方。
RTX 5060 Ti 16GBと中古RTX 3090で迷ったら
判断軸の整理。