vLLM

製品紹介

vLLMは言語モデルの推論・サービング用オープンソースエンジンです。モデルとハードウェアを指定し、バッチ生成またはAPIサーバーとして利用します。PagedAttention、連続バッチ、プレフィックスキャッシュでメモリーと実行順序を管理し、量子化・構造化出力・分散推論にも対応します。重みやホスティング計算資源は別途必要で、互換性と性能は構成によって異なります。

更新履歴

公式の出典・参考資料

• 公式サイトhttps://docs.vllm.ai/en/latest/

公開情報に基づく紹介です。機能、料金、地域ごとの提供状況は公式サイトで確認してください。