Inferenza, distribuzione e runtime

sglang

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

★ 32,1KStelle
⑂ 8KFork
4869Problemi aperti
PythonLingua
Apache-2.0Licenza
Q@project.QualityScorePunteggio editoriale

Panoramica

SGLang is a high-performance serving framework for large language models and multimodal models.

Requisiti, installazione e avvio rapido

I requisiti di installazione non sono indicati nei metadati del repository.

Utilizzo

L’utilizzo non è indicato nei metadati del repository.

Compatibilità del modello e casi d'uso

La compatibilità del modello non è indicata nei metadati del repository.

Note su licenza e rischi

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

vllm

vllm-project/vllm

★ 89,4KPython

OpenVINO

openvinotoolkit/openvino

★ 10,6KC++

GPUStack

gpustack/gpustack

★ 5,4KPython