Inférence, déploiement et exécution

sglang

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

★ 32,1KÉtoiles
⑂ 8KForks
4869Problèmes ouverts
PythonLangue
Apache-2.0Licence
Q@project.QualityScoreScore éditorial

Vue d’ensemble

SGLang is a high-performance serving framework for large language models and multimodal models.

Prérequis, installation et démarrage rapide

Les exigences d'installation ne sont pas indiquées dans les métadonnées du dépôt.

Utilisation

L’utilisation n’est pas indiquée dans les métadonnées du dépôt.

Compatibilité des modèles et cas d’usage

La compatibilité des modèles n’est pas indiquée dans les métadonnées du dépôt.

Licence et notes sur les risques

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

vllm

vllm-project/vllm

★ 89,4KPython

OpenVINO

openvinotoolkit/openvino

★ 10,6KC++

GPUStack

gpustack/gpustack

★ 5,4KPython