TRT-LLM

vLLM v0.19.0rc1 で NVIDIA Blackwell (GB200/GB300) 正式対応！TRT-LLM 連携による高速化と VRAM 最適化の実測結果を公開。アテンション互換性問題が解消され、ローカル推論環境の性能が劇的に向上します。詳細なベンチマークデータと設定手順を今すぐチェック。