Inferência, implantação e execução

sglang

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

★ 32,1KEstrelas
⑂ 8KForks
4869Problemas em aberto
PythonIdioma
Apache-2.0Licença
Q@project.QualityScorePontuação editorial

Visão geral

SGLang is a high-performance serving framework for large language models and multimodal models.

Requisitos, instalação e início rápido

Os requisitos de instalação não estão especificados nos metadados do repositório.

Uso

O uso não é informado nos metadados do repositório.

Compatibilidade do modelo e casos de uso

A compatibilidade do modelo não está especificada nos metadados do repositório.

Observações sobre licença e riscos

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

vllm

vllm-project/vllm

★ 89,4KPython

OpenVINO

openvinotoolkit/openvino

★ 10,6KC++

GPUStack

gpustack/gpustack

★ 5,4KPython