vLLM

Apple Silicon搭載Macで464 tok/sを実現！vLLM-MLXがローカルLLMを3.4倍高速化。OpenAI API互換で、少ないリソースで大規模モデルを動作。