Inférence, déploiement et exécution

sglang

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

★ 32,2KÉtoiles
⑂ 8,1KForks
4927Problèmes ouverts
PythonLangue
Apache-2.0Licence
Q98Score éditorial

Vue d’ensemble

SGLang is a high-performance serving framework for large language models and multimodal models.

Prérequis, installation et démarrage rapide

Les exigences d'installation ne sont pas indiquées dans les métadonnées du dépôt.

Utilisation

L’utilisation n’est pas indiquée dans les métadonnées du dépôt.

Compatibilité des modèles et cas d’usage

La compatibilité des modèles n’est pas indiquée dans les métadonnées du dépôt.

Licence et notes sur les risques

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

vllm

vllm-project/vllm

★ 89,5KPython

OpenVINO

openvinotoolkit/openvino

★ 10,6KC++

GPUStack

gpustack/gpustack

★ 5,4KPython

FastDeploy

PaddlePaddle/FastDeploy

★ 3,7KPython