KVキャッシュ量子化

llama.cpp b9455でKVキャッシュ量子化が実装されました。TP環境でのVRAM枯渇解消と推論高速化を実現。自宅PCで大規模モデルを動かすための最新情報と導入メリットを徹底解説。詳しくはこちら