Inferentie, implementatie en runtime

sglang

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

★ 32,2KSterren
⑂ 8,1KForks
4927Openstaande problemen
PythonTaal
Apache-2.0Licentie
Q98Redactionele score

Overzicht

SGLang is a high-performance serving framework for large language models and multimodal models.

Vereisten, installatie en snel aan de slag

Installatievereisten staan niet vermeld in de metadata van de repository.

Gebruik

Het gebruik wordt niet vermeld in de metagegevens van de repository.

Modelcompatibiliteit en gebruiksscenario's

Modelcompatibiliteit staat niet vermeld in de metadata van de repository.

Licentie- en risiconotities

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

vllm

vllm-project/vllm

★ 89,5KPython

OpenVINO

openvinotoolkit/openvino

★ 10,6KC++

GPUStack

gpustack/gpustack

★ 5,4KPython

FastDeploy

PaddlePaddle/FastDeploy

★ 3,7KPython