추론, 배포 및 런타임

vllm

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

★ 89.4K별점
⑂ 20.9K포크 수
6746미해결 이슈
Python언어
Apache-2.0라이선스
Q@project.QualityScore편집 점수

개요

A high-throughput and memory-efficient inference and serving engine for LLMs

요구 사항, 설치 및 빠른 시작

저장소 메타데이터에 설치 요구 사항이 명시되어 있지 않습니다.

사용 정보

사용 정보는 저장소 메타데이터에 명시되어 있지 않습니다.

모델 호환성 및 사용 사례

저장소 메타데이터에 모델 호환성이 명시되어 있지 않습니다.

라이선스 및 위험 참고 사항

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

sglang

sgl-project/sglang

★ 32.1KPython

OpenVINO

openvinotoolkit/openvino

★ 10.6KC++

GPUStack

gpustack/gpustack

★ 5.4KPython