ローカルLLMに必要なVRAMの目安|モデル規模×量子化で考える

本ページはプロモーションを含みます

ローカルLLM(自分のPCで動かすAIモデル)を選ぶとき、最初につまずくのが「VRAM(グラフィックボードのメモリ)は何GBあればいいのか」です。CPUやメモリ(RAM)のように後から増設しにくい部分だけに、ここを読み違えると「買ったのに動かしたいモデルが載らない」ということになりかねません。

この記事では、モデルの規模と量子化の組み合わせで、必要なVRAMの目安を整理します。なお、ここに挙げる数値はすべて経験則に基づく目安です。モデルごとの作りや、使うソフト(推論エンジン)の実装によって前後します。「この容量なら載るはず」という判断材料として使ってください。

目安表:モデル規模×量子化

モデルの重み(パラメータ)そのものがVRAMの大半を占めます。パラメータ1つあたりのビット数が量子化で変わるため、同じモデルでも必要な容量は大きく変わります。

モデルの規模Q4量子化Q8量子化FP16(無量子化に近い形)
7〜8B約5〜6GB(目安:8〜16GB)約8〜9GB約16GB
14B約9〜10GB(目安:12〜16GB)約15GB約28GB
32B約19〜20GB(目安:24GB以上)約34GB約64GB
70B約40GB(目安:メモリ64GB以上)約70GB約140GB

「約〜GB」は重み本体のおおよその容量、「目安」はコンテキストなどの余裕を見た実用ラインです。いずれも経験則です。

たとえば7Bモデルは、パラメータが約70億個あります。FP16(1パラメータ2バイト)なら約14〜16GB、Q4(1パラメータ約0.5バイト+付随データ)なら約5〜6GB、という計算が基本です。ここに後述のコンテキスト用のメモリが乗ってきます。

重み以外に食うもの:コンテキストとKVキャッシュ

VRAMを圧迫するのはモデルの重みだけではありません。会話や文章の履歴(コンテキスト)を保持するための「KVキャッシュ」が、コンテキスト長に比例して増えていきます。

目安表の「目安」側の数字が重み本体より大きめなのは、この余裕分を見ているためです。「重みが載る容量」と「快適に使える容量」は別物、と覚えておくと失敗しにくくなります。

足りないとどうなるか

VRAMが不足すると、多くの推論ソフトはモデルの一部をCPU側のメモリ(RAM)に逃がす「オフロード」を自動で行います。動かすこと自体はできても、速度は大きく落ちます。体感で数分の1になることも珍しくありません。

逆に、VRAMに丸ごと載る構成では、応答の速さが安定します。「載るかどうか」だけでなく「全部載るかどうか」で選ぶのが、ローカルLLM用PC選びの基本です。

規模別の実用ライン

7〜8B:VRAM 8〜16GB

入門に最適な規模です。Q4なら8GBでも動かせますが、コンテキストの余裕を考えるなら16GBクラスが快適です。最近の小型モデルは性能が上がっており、日常のチャットや要約なら十分という人も多いはずです。

14B:VRAM 12〜16GB

回答の質が一段上がる規模です。Q4で重み約9〜10GB+KVキャッシュを見て、16GBが実用ラインです。VRAM 12GBのGPUでは、コンテキストを広げると不足しやすくなります。

32B:VRAM 24GB以上

Q4でも重みが約19〜20GBに達します。24GBクラス(中古のRTX 3090など)か、32GBの現行GPUが候補になります。この規模から、PC選びは「VRAM容量優先」になります。

70B:メモリ64GB以上

Q4でも約40GBの重みがあり、実用には64GB級のメモリが必要です。GPUなら複数枚構成、Macならユニファイドメモリ64GB以上のMac Studioクラスが現実的な落としどころです。

まとめ

自分の使い方だとどの規模が合うか分からない場合は、診断ページで6つの質問に答えると候補を出します。

価格は変動するため、このページには載せていません。価格はリンク先で確認してください。

商品リンク(準備中)

関連記事

量子化(Q4/Q8/FP16)で何が変わるか
メモリ・速度・品質のトレードオフ。
初めてのローカルLLM用PCの選び方
完成品/GPU追加/Macの3択と確認点。
RTX 5060 Ti 16GBと中古RTX 3090で迷ったら
16GBと24GB、どちらを選ぶかの判断軸。
Mac(Apple Silicon)でローカルLLM
ユニファイドメモリの考え方。