Inferensi, Deployment & Runtime

sglang

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

★ 32,2KBintang
⑂ 8,1KFork
4927Isu terbuka
PythonBahasa
Apache-2.0Lisensi
Q98Skor editorial

Ringkasan

SGLang is a high-performance serving framework for large language models and multimodal models.

Persyaratan, instalasi, dan mulai cepat

Persyaratan instalasi tidak tercantum dalam metadata repositori.

Penggunaan

Penggunaan tidak dicantumkan dalam metadata repositori.

Kompatibilitas model dan kasus penggunaan

Kompatibilitas model tidak tercantum dalam metadata repositori.

Catatan lisensi dan risiko

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

vllm

vllm-project/vllm

★ 89,5KPython

OpenVINO

openvinotoolkit/openvino

★ 10,6KC++

GPUStack

gpustack/gpustack

★ 5,4KPython

FastDeploy

PaddlePaddle/FastDeploy

★ 3,7KPython