추론, 배포 및 런타임

sglang

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

★ 32.1K별점
⑂ 8K포크 수
4869미해결 이슈
Python언어
Apache-2.0라이선스
Q@project.QualityScore편집 점수

개요

SGLang is a high-performance serving framework for large language models and multimodal models.

요구 사항, 설치 및 빠른 시작

저장소 메타데이터에 설치 요구 사항이 명시되어 있지 않습니다.

사용 정보

사용 정보는 저장소 메타데이터에 명시되어 있지 않습니다.

모델 호환성 및 사용 사례

저장소 메타데이터에 모델 호환성이 명시되어 있지 않습니다.

라이선스 및 위험 참고 사항

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

vllm

vllm-project/vllm

★ 89.4KPython

OpenVINO

openvinotoolkit/openvino

★ 10.6KC++

GPUStack

gpustack/gpustack

★ 5.4KPython