推論最適化

Vulkan 1.4.352がリリースされ、NVIDIA独自拡張「cooperative_matrix_decode_vector」が追加されました。ローカルLLM運用でボトルネックだったGPU演算性能がどう変わるか、Ollamaやllama.cpp環境での検証結果とベンチマークデータを詳しく解説します。