で、ちょっと苦労したのが「どうやったらGPUを使ってくれるのよ」ってところ。
具体的にはLemonade Serverなんですが、最初はStandaloneのサーバとしてインストールしていました。この時も、いくつかのモデルを使ってもCPUの負荷が上がるだけでGPUは静かな状態のまま。その後、Docker/Dockhandの環境に移行しましたが、状況は全く変わらず。最初は構成ファイル中に /dev/kfd, /dev/dri の Device を記述してなかったので「ああ、それだったか」と思ったのですが、それを記述しても状況は変わらず。使用したモデルのBackendに ROCm を指定しても変わらず。
config set rocm_channel=nightly を指定して backends install llamacpp:rocm をやっても、なんら状況は変わりません。
Lemonade Serverのバージョンは 11.5.2でしたが「こりゃダメか」と諦めました。
が、Standalone サーバの時には apt install したそのままで動かしてただけだったのを思い出し、lemonade config set rocm_channel=nightly して、lemonade backends install llamacpp:rocm して、もっかいトライしてみたら、冒頭の絵の通りGPUを使ってくれることが分かりました。
とりあえず、少しばかり望んだ状況に近づいたワケですが、それにしても、どうも応答がもっさりしてる…。
Docker環境には比較用に ollama も導入してあり、Lemonade Serverと同じModelを使って同じプロンプトで試してみたら、極めてスムースに応答してくれました。CPUはほとんど使用されずGPUがほぼ100%の負荷で処理されていました。
ってことで、Lemonade Serverは「もう少し改善が望まれるね」という状況のように思いました。nVidiaのGPUなら結果が違うのかもしれませんが、CPUもAMD製、GPUもAMD製。の上にLemonade Serverの開発にもAMDが大きく関与しているはずで、今の状況ってのはちょっと寂しい感じがします。
そうではなくて、自分の環境/設定が悪い?
いろいろ調べて試してみたんですけどねぇ…。まだ何かあるのかもしれません。





