Suy luận, Triển khai & Thời gian chạy

FastDeploy

PaddlePaddle/FastDeploy

High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddlePaddle

★ 3,7KSố sao
⑂ 755Fork
697Vấn đề đang mở
PythonNgôn ngữ
Apache-2.0Giấy phép
Q98Điểm biên tập

Tổng quan

High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddlePaddle

Yêu cầu, cài đặt và bắt đầu nhanh

Yêu cầu cài đặt không được nêu trong siêu dữ liệu của kho lưu trữ.

Cách sử dụng

Thông tin sử dụng không được nêu trong siêu dữ liệu của kho lưu trữ.

Khả năng tương thích của mô hình và trường hợp sử dụng

Khả năng tương thích của mô hình không được nêu trong siêu dữ liệu của kho lưu trữ.

Ghi chú về giấy phép và rủi ro

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending. Quality score was recomputed from live GitHub repository facts on 2026-08-22 UTC using the seven-dimension channel formula.

vllm

vllm-project/vllm

★ 89,5KPython

sglang

sgl-project/sglang

★ 32,2KPython

OpenVINO

openvinotoolkit/openvino

★ 10,6KC++

GPUStack

gpustack/gpustack

★ 5,4KPython