Inferencia, implementación y tiempo de ejecución

sglang

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

★ 32,1KEstrellas
⑂ 8KBifurcaciones
4869Problemas abiertos
PythonIdioma
Apache-2.0Licencia
Q@project.QualityScorePuntuación editorial

Resumen

SGLang is a high-performance serving framework for large language models and multimodal models.

Requisitos, instalación y guía rápida

Los requisitos de instalación no se indican en los metadatos del repositorio.

Uso

El uso no se indica en los metadatos del repositorio.

Compatibilidad de modelos y casos de uso

La compatibilidad del modelo no se indica en los metadatos del repositorio.

Notas sobre la licencia y los riesgos

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

vllm

vllm-project/vllm

★ 89,4KPython

OpenVINO

openvinotoolkit/openvino

★ 10,6KC++

GPUStack

gpustack/gpustack

★ 5,4KPython