GMKtecDirect

ローカル LLM の実験用に購入しました。メイン PC の GPU（RX 9060 XT、VRAM16GB）では載せきれない大きさのモデルを動かすのが目的です。一通り試してみて、かなり気に入っています。 ■良かった点 ・GPU へのメモリ割り当てを 96GB にできます。BIOS に入らなくても、AMD Software（Adrenalin）の画面から変更できたのは楽でした。 ・普段使っている Gemma 4 26B-A4B（MoE）を Q8 量子化で動かして、生成速度は 37 トーク ン/秒前後でした。メイン PC で Q3 量子化を動かしていたときは 26トークン/秒前後だったので、精度を上げたのに速くなっています。文章の質やプロンプトへの従い方も、目に見えて良くなりました。 ・メモリ使用量 88GB の大型モデル（gpt-oss-120b、コンテキスト長込み）も問題なく読み込めました。 ・全力で推論させても、消費電力は 85W 程度に収まっています。ハイエンドのグラフィックボードと比べると、電気代の面でもずっと気楽です。 ・何より、容量あたりの値段です。大容量の VRAM を積んだグラフィックボードと比べると、桁違いに安く大きなモデルを載せられます。 ・LM Studio でサーバーを立てて、メイン PC から LAN 経由で使う運用も問題なくできています。 ■気をつける点（いずれも対処済み） ・推論中に Windows の「画面の電源を切る」が働くと、システムごと固まることがありました。画面の電源オフとスリープを両方「なし」にしてからは安定しています。サーバー用途なら最初から切っておくのがおすすめです。 ・LM Studio の「Keep Model in Memory」がオンのままだと、大きいモデルを読み込むときにメイン側のメモリ（32GB）が張り付いて進まなくなりました。オフにしたら解決しました。 ・LM Studio のランタイムは、ROCm 版より Vulkan 版の方がはっきり速かったです。 ・速さは、ハイエンドの専用グラフィックボードには及びません。30B 級の密なモデル（MoE ではないもの）を Q8 で動かすと、生成は 5トークン/秒前後で、普段使いには厳しいです。この機種の強みは「速さ」より「容量」だと思います。