ローカルLLMに必要なVRAMの目安|モデル規模×量子化で考える
ローカルLLM(自分のPCで動かすAIモデル)を選ぶとき、最初につまずくのが「VRAM(グラフィックボードのメモリ)は何GBあればいいのか」です。CPUやメモリ(RAM)のように後から増設しにくい部分だけに、ここを読み違えると「買ったのに動かしたいモデルが載らない」ということになりかねません。
この記事では、モデルの規模と量子化の組み合わせで、必要なVRAMの目安を整理します。なお、ここに挙げる数値はすべて経験則に基づく目安です。モデルごとの作りや、使うソフト(推論エンジン)の実装によって前後します。「この容量なら載るはず」という判断材料として使ってください。
目安表:モデル規模×量子化
モデルの重み(パラメータ)そのものがVRAMの大半を占めます。パラメータ1つあたりのビット数が量子化で変わるため、同じモデルでも必要な容量は大きく変わります。
| モデルの規模 | Q4量子化 | Q8量子化 | FP16(無量子化に近い形) |
|---|---|---|---|
| 7〜8B | 約5〜6GB(目安:8〜16GB) | 約8〜9GB | 約16GB |
| 14B | 約9〜10GB(目安:12〜16GB) | 約15GB | 約28GB |
| 32B | 約19〜20GB(目安:24GB以上) | 約34GB | 約64GB |
| 70B | 約40GB(目安:メモリ64GB以上) | 約70GB | 約140GB |
「約〜GB」は重み本体のおおよその容量、「目安」はコンテキストなどの余裕を見た実用ラインです。いずれも経験則です。
たとえば7Bモデルは、パラメータが約70億個あります。FP16(1パラメータ2バイト)なら約14〜16GB、Q4(1パラメータ約0.5バイト+付随データ)なら約5〜6GB、という計算が基本です。ここに後述のコンテキスト用のメモリが乗ってきます。
重み以外に食うもの:コンテキストとKVキャッシュ
VRAMを圧迫するのはモデルの重みだけではありません。会話や文章の履歴(コンテキスト)を保持するための「KVキャッシュ」が、コンテキスト長に比例して増えていきます。
- チャットで短いやり取りをするだけなら、KVキャッシュは数百MB〜1GB程度で収まることが多いです。
- コーディング支援のようにコード全体を読み込ませる使い方では、コンテキストを32K〜128Kトークンまで広げることがあり、KVキャッシュだけで数GB増えることがあります。
- 画像生成を併用する場合、VAEやアップスケーラが別途VRAMを使います。
目安表の「目安」側の数字が重み本体より大きめなのは、この余裕分を見ているためです。「重みが載る容量」と「快適に使える容量」は別物、と覚えておくと失敗しにくくなります。
足りないとどうなるか
VRAMが不足すると、多くの推論ソフトはモデルの一部をCPU側のメモリ(RAM)に逃がす「オフロード」を自動で行います。動かすこと自体はできても、速度は大きく落ちます。体感で数分の1になることも珍しくありません。
逆に、VRAMに丸ごと載る構成では、応答の速さが安定します。「載るかどうか」だけでなく「全部載るかどうか」で選ぶのが、ローカルLLM用PC選びの基本です。
規模別の実用ライン
7〜8B:VRAM 8〜16GB
入門に最適な規模です。Q4なら8GBでも動かせますが、コンテキストの余裕を考えるなら16GBクラスが快適です。最近の小型モデルは性能が上がっており、日常のチャットや要約なら十分という人も多いはずです。
14B:VRAM 12〜16GB
回答の質が一段上がる規模です。Q4で重み約9〜10GB+KVキャッシュを見て、16GBが実用ラインです。VRAM 12GBのGPUでは、コンテキストを広げると不足しやすくなります。
32B:VRAM 24GB以上
Q4でも重みが約19〜20GBに達します。24GBクラス(中古のRTX 3090など)か、32GBの現行GPUが候補になります。この規模から、PC選びは「VRAM容量優先」になります。
70B:メモリ64GB以上
Q4でも約40GBの重みがあり、実用には64GB級のメモリが必要です。GPUなら複数枚構成、Macならユニファイドメモリ64GB以上のMac Studioクラスが現実的な落としどころです。
まとめ
- 必要なVRAMは「モデルの規模×量子化」でほぼ決まります。
- 重み本体+KVキャッシュの余裕を見て選ぶのが失敗しないコツです。
- この記事の数値は経験則の目安です。最終的には動かしたいモデルの配布ページで、ファイルサイズを確認してください。
自分の使い方だとどの規模が合うか分からない場合は、診断ページで6つの質問に答えると候補を出します。
価格は変動するため、このページには載せていません。価格はリンク先で確認してください。