Inferência, implantação e execução

TensorRT

NVIDIA/TensorRT

NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.

★ 13,2KEstrelas
⑂ 2,4KForks
615Problemas em aberto
C++Idioma
Apache-2.0Licença
Q94Pontuação editorial

Visão geral

NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.

Requisitos, instalação e início rápido

Os requisitos de instalação não estão especificados nos metadados do repositório.

Uso

O uso não é informado nos metadados do repositório.

Compatibilidade do modelo e casos de uso

A compatibilidade do modelo não está especificada nos metadados do repositório.

Observações sobre licença e riscos

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending. Quality score was recomputed from live GitHub repository facts on 2026-08-22 UTC using the seven-dimension channel formula.

vllm

vllm-project/vllm

★ 89,5KPython

sglang

sgl-project/sglang

★ 32,2KPython

OpenVINO

openvinotoolkit/openvino

★ 10,6KC++

GPUStack

gpustack/gpustack

★ 5,4KPython