Inferenz, Bereitstellung & Laufzeit

sglang

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

★ 32,2KSterne
⑂ 8,1KForks
4927Offene Issues
PythonSprache
Apache-2.0Lizenz
Q98Redaktionelle Bewertung

Übersicht

SGLang is a high-performance serving framework for large language models and multimodal models.

Voraussetzungen, Installation und Schnellstart

Installationsanforderungen sind in den Repository-Metadaten nicht angegeben.

Nutzung

Die Nutzung ist in den Repository-Metadaten nicht angegeben.

Modellkompatibilität und Anwendungsfälle

Die Modellkompatibilität ist in den Repository-Metadaten nicht angegeben.

Lizenz- und Risikohinweise

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

vllm

vllm-project/vllm

★ 89,5KPython

OpenVINO

openvinotoolkit/openvino

★ 10,6KC++

GPUStack

gpustack/gpustack

★ 5,4KPython

FastDeploy

PaddlePaddle/FastDeploy

★ 3,7KPython