DwarfStar4によるオンプレAI環境の改善
目次
はじめに
弊社では、外部サーバーにデータを送信するクラウドAIではなく、社内サーバーで稼働するプライベートなAIが必要という判断がありました。
以前のブログポストにある通り、オンデバイスでのコーディングエージェント運用を行っていましたが、環境改善のため、より高性能なマシンでオンプレミスのAIサーバーを構築しました。
この構築と運用で気づいたことを記載します。
構成
構想当時でのマシンスペックに対してAIモデルが円滑に動作する目安は「グラフィックメモリ容量＞AIモデルのファイル容量」です。
想定AIモデルを「Qwen3-Coder-480B」の6ビット量子化（Q6）として、また将来的な高性能オープンソースモデルを動かせるようPCを選定しました。
PC本体
MacStudio M3Ultra 512GBユニファイドメモリ
しばらくの間はQwenシリーズを使っていましたが、以下の点で期待する運用になかなか近づかない状態でした。
・RooCodeやOpenCodeなどのツールコールと相性が悪い
・目安の性能でも期待するほどの速度が出ない（インターネット越しであることも原因と思われる）
・特にレビュー依頼では期待する精度に届かない（Coderモデルより汎用モデルが向いていたと考えられる）
その後、DwarfStar4というサーバーツールを知り、検証すると良好な動作だったため導入しました。
AIモデル
DeepSeekV4Flash-Q2-imatrix
サーバーツール
DwarfStar4
DwarfStar4について
llama.cppやvLLMなどのメジャーなAIサーバーツールは、汎用的に様々なAIモデルを動作できるように作られています。
対してDwarfStar4は、DeepSeekV4FlashというAIモデルを動作させることに特化させ、生成速度と生成物精度のバランスを高いレベルで取るため、以下のような点で差別化をしています。
※執筆時点では「DeepSeekV4Pro」「GLM5.2」などのモデルにも対応
・ツールのコードベースを必要最低限までシンプル化してオーバーヘッドを軽減
・ロングコンテキストのプレフィックスキャッシュ
・古いトークンを圧縮し混合アテンション計算
・2bit/8bitの非対称量子化した専用AIモデル
運用結果
ds4を運用してから、他のチャット型AIサービスやCursorなどのコーディングエージェントの体験にかなり近づいたと感じています。
現状インターネット越しのリクエストになるオンプレミス運用だと、生成速度の点でネットワーク周りの改善余地があるかもしれませんが、エンジニア各自のローカル環境でも十分な性能でLLMを動かせる選択肢が得られるので、ds4はローカルLLMの重要な選択肢になると思います。
