Suy luận, Triển khai & Thời gian chạy

sglang

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

★ 32,1KSố sao
⑂ 8KFork
4869Vấn đề đang mở
PythonNgôn ngữ
Apache-2.0Giấy phép
Q@project.QualityScoreĐiểm biên tập

Tổng quan

SGLang is a high-performance serving framework for large language models and multimodal models.

Yêu cầu, cài đặt và bắt đầu nhanh

Yêu cầu cài đặt không được nêu trong siêu dữ liệu của kho lưu trữ.

Cách sử dụng

Thông tin sử dụng không được nêu trong siêu dữ liệu của kho lưu trữ.

Khả năng tương thích của mô hình và trường hợp sử dụng

Khả năng tương thích của mô hình không được nêu trong siêu dữ liệu của kho lưu trữ.

Ghi chú về giấy phép và rủi ro

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

vllm

vllm-project/vllm

★ 89,4KPython

OpenVINO

openvinotoolkit/openvino

★ 10,6KC++

GPUStack

gpustack/gpustack

★ 5,4KPython