memo.

タグ: Gemma

  • 読了：Software Design 2026年9月号

    ローカルLLMの特集はとてもおもしろかった。前にOllamaで試したことがあるけれど、今回の特集を読んで、LM Studioに切り替えて、もう一度、いろいろと試してみた。APIで他のPCからもつなげるので、エージェントを実行するPCと分けられたので、メモリ不足、パワー不足を補えたのでよかった。この特集を読めてよかった。

    この特集にもあるように、利用用途にもよるけれど、コスパ的にはクラウドのLLMを利用するほうがよい。個人的な実感でもそうだったけれど、特集の中でも言及されており、裏付けがとれてよかった。ただ、なんらかの要因でクラウドLLMが使えなくなる可能性も考えると、オープンモデルをローカル環境で、どこまで動作させられるのかを試すのは、重要。Gemma4の軽量モデルだと、ビジネスPCでも、さくさくと応答を返してくれる。簡単な利用なら、十分かもしれないと思える程度には使えた。いいきっかけなので、もう少し試してみようと思う。

    あと、いろいろと使ってみた感じたのは、コスパは悪い、というのはわかっていても、Mac StudioとかでローカルLLMの仕組みを作ってみたいという欲にかられる。そんなに使う機会はないし、システムに組み込むのもめんどくさいのだけど。どこか夢のような惹かれ方をする。

    LLM以外の話だと、「次世代ツールの本命」の特集もよかった。ずっと同じ環境というわけでもないし、次に流行りそうなものは重要。乗り換えるかどうかは別にして、把握はしておきたい。いろいろと面白かった。

    Amazon：　https://amzn.to/4ifuehf

  • メモリ16GBのPCでローカルLLMを動かしてみる

    Intel Core Ultra5、メモリ16GBのLet’s Note SC6で、ローカルLLMを動かしてみた。最初は、WSL上のOllamaでGemmaを動作させてみたが、CLIで他の人に使ってもらうには、少し敷居が高かった。今回は、GUIでLM Studioを使ってみた。

    LM Studioは、GUIツールなので、インストールも楽ちんだった。起動させるのもGUI、モデルを探してダウンロードするのもGUI、当然チャットの部分もGUIで、回答もリッチテキストでよい。便利ではあるのだけど、モデルのダウンロードは少し大変だった。PCスペックに対して、動くかどうかの判定はついているだが、モデル数が多すぎて、選ぶのが大変だった。たとえば、GoogleのGemmaで探しても、Googleのものもあれば、他の組織がチューニングしたものもある。どれが動くのか、見て選んでいく必要がある。ここが結構大変だった。

    Intel Core Ultra5、メモリ16GBのLet’s Note SC6で実際に動作させてみたのは、以下のモデル。

    • Gemma-4-12b-qat
    • Gemma-4-e2b
    • Llama-3-ELYZA-JP-8B
    • Qwen3.5-9b
    • meta-llama3.1-8b-instruct

    Gemma4は、最新なので使えるメモリで使えるサイズのモデルを選択した。12B（120億パラメータ）もサイズが7.2GBでなんとか動作した。

    Llamaはmeta社が開発したモデルだけれど、かなり派生が多いモデルで選ぶのが大変だった。どれがよいのかわからないので、日本語に特化したELYZAを選んでみた。その後、比較のため、Llama3.1のモデルも使ってみた。

    Qwen3は、最新モデルだと少ないメモリで動くモデルがなく、少し前のモデル（3.5の9B、90億パラメータ）を試してみた。

    ここに挙げたモデルは、メモリ16GBのWindows11のPCで動作できた。オンラインのモデルと比べると雲泥の差の応答速度だけれど、まぁまぁの速度で返答の文字が表示されてくる。タスクマネージャーをみてみると、CPUはそれほど使っていないが、GPU（Intel Graphics）は100%まで使って回答をしてくる。