TOOLORA / ローカル閲覧版
SGLang
言語・マルチモーダルモデル向け推論フレームワーク。プレフィックスキャッシュと複数デバイスで配信。
製品紹介
SGLangはLMSYSがホストする、言語・視覚言語モデルなどの推論フレームワークです。環境を導入し、重みを読み込み、サーバーへ生成・ストリーミング・ツール呼び出し要求を送ります。RadixAttentionとプレフィックスキャッシュで共通文脈を再利用し、複数GPUで処理を拡張します。リポジトリには画像・動画用SGLang Diffusionも含まれます。モデル、機器、APIの対応表を確認してください。
公式の出典・参考資料
公開情報に基づく紹介です。機能、料金、地域ごとの提供状況は公式サイトで確認してください。