llama-server

ローカルLLMのパフォーマンスを30%向上！llama-server -np 1オプションの徹底解説

llama-serverの-np 1オプションでVRAMを30%削減、TPSを20%向上！ローカルLLM最適化のコツを解説。詳しくはこちら→

ハードウェア