メモリ16GBのPCでローカルLLMを動かしてみる

Intel Core Ultra5、メモリ16GBのLet’s Note SC6で、ローカルLLMを動かしてみた。最初は、WSL上のOllamaでGemmaを動作させてみたが、CLIで他の人に使ってもらうには、少し敷居が高かった。今回は、GUIでLM Studioを使ってみた。

LM Studioは、GUIツールなので、インストールも楽ちんだった。起動させるのもGUI、モデルを探してダウンロードするのもGUI、当然チャットの部分もGUIで、回答もリッチテキストでよい。便利ではあるのだけど、モデルのダウンロードは少し大変だった。PCスペックに対して、動くかどうかの判定はついているだが、モデル数が多すぎて、選ぶのが大変だった。たとえば、GoogleのGemmaで探しても、Googleのものもあれば、他の組織がチューニングしたものもある。どれが動くのか、見て選んでいく必要がある。ここが結構大変だった。

Intel Core Ultra5、メモリ16GBのLet’s Note SC6で実際に動作させてみたのは、以下のモデル。

• Gemma-4-12b-qat
• Gemma-4-e2b
• Llama-3-ELYZA-JP-8B
• Qwen3.5-9b
• meta-llama3.1-8b-instruct

Gemma4は、最新なので使えるメモリで使えるサイズのモデルを選択した。12B（120億パラメータ）もサイズが7.2GBでなんとか動作した。

Llamaはmeta社が開発したモデルだけれど、かなり派生が多いモデルで選ぶのが大変だった。どれがよいのかわからないので、日本語に特化したELYZAを選んでみた。その後、比較のため、Llama3.1のモデルも使ってみた。

Qwen3は、最新モデルだと少ないメモリで動くモデルがなく、少し前のモデル（3.5の9B、90億パラメータ）を試してみた。

ここに挙げたモデルは、メモリ16GBのWindows11のPCで動作できた。オンラインのモデルと比べると雲泥の差の応答速度だけれど、まぁまぁの速度で返答の文字が表示されてくる。タスクマネージャーをみてみると、CPUはそれほど使っていないが、GPU（Intel Graphics）は100%まで使って回答をしてくる。