Suy luận, Triển khai & Thời gian chạy

sglang

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

★ 32,2KSố sao
⑂ 8,1KFork
4927Vấn đề đang mở
PythonNgôn ngữ
Apache-2.0Giấy phép
Q98Điểm biên tập

Tổng quan

SGLang is a high-performance serving framework for large language models and multimodal models.

Yêu cầu, cài đặt và bắt đầu nhanh

Yêu cầu cài đặt không được nêu trong siêu dữ liệu của kho lưu trữ.

Cách sử dụng

Thông tin sử dụng không được nêu trong siêu dữ liệu của kho lưu trữ.

Khả năng tương thích của mô hình và trường hợp sử dụng

Khả năng tương thích của mô hình không được nêu trong siêu dữ liệu của kho lưu trữ.

Ghi chú về giấy phép và rủi ro

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

vllm

vllm-project/vllm

★ 89,5KPython

OpenVINO

openvinotoolkit/openvino

★ 10,6KC++

GPUStack

gpustack/gpustack

★ 5,4KPython

FastDeploy

PaddlePaddle/FastDeploy

★ 3,7KPython