Inferensi, Deployment & Runtime

FastDeploy

PaddlePaddle/FastDeploy

High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddlePaddle

★ 3,7KBintang
⑂ 755Fork
697Isu terbuka
PythonBahasa
Apache-2.0Lisensi
Q98Skor editorial

Ringkasan

High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddlePaddle

Persyaratan, instalasi, dan mulai cepat

Persyaratan instalasi tidak tercantum dalam metadata repositori.

Penggunaan

Penggunaan tidak dicantumkan dalam metadata repositori.

Kompatibilitas model dan kasus penggunaan

Kompatibilitas model tidak tercantum dalam metadata repositori.

Catatan lisensi dan risiko

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending. Quality score was recomputed from live GitHub repository facts on 2026-08-22 UTC using the seven-dimension channel formula.

vllm

vllm-project/vllm

★ 89,5KPython

sglang

sgl-project/sglang

★ 32,2KPython

OpenVINO

openvinotoolkit/openvino

★ 10,6KC++

GPUStack

gpustack/gpustack

★ 5,4KPython