推論、デプロイ、ランタイム

sglang

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

★ 32.1Kスター
⑂ 8Kフォーク数
4869未解決の問題
Python言語
Apache-2.0ライセンス
Q@project.QualityScore編集部スコア

概要

SGLang is a high-performance serving framework for large language models and multimodal models.

要件、インストール、クイックスタート

リポジトリのメタデータにインストール要件が記載されていません。

使用方法

使用方法はリポジトリのメタデータに記載されていません。

モデルの互換性とユースケース

リポジトリのメタデータにモデル互換性の記載がありません。

ライセンスとリスクに関する注意事項

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

vllm

vllm-project/vllm

★ 89.4KPython

OpenVINO

openvinotoolkit/openvino

★ 10.6KC++

GPUStack

gpustack/gpustack

★ 5.4KPython