Inferência, implantação e execução

FastDeploy

PaddlePaddle/FastDeploy

High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddlePaddle

★ 3,7KEstrelas
⑂ 755Forks
697Problemas em aberto
PythonIdioma
Apache-2.0Licença
Q98Pontuação editorial

Visão geral

High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddlePaddle

Requisitos, instalação e início rápido

Os requisitos de instalação não estão especificados nos metadados do repositório.

Uso

O uso não é informado nos metadados do repositório.

Compatibilidade do modelo e casos de uso

A compatibilidade do modelo não está especificada nos metadados do repositório.

Observações sobre licença e riscos

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending. Quality score was recomputed from live GitHub repository facts on 2026-08-22 UTC using the seven-dimension channel formula.

vllm

vllm-project/vllm

★ 89,5KPython

sglang

sgl-project/sglang

★ 32,2KPython

OpenVINO

openvinotoolkit/openvino

★ 10,6KC++

GPUStack

gpustack/gpustack

★ 5,4KPython