Инференс, развёртывание и среда выполнения

TensorRT

NVIDIA/TensorRT

NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.

★ 13,2KЗвёзды
⑂ 2,4KФорки
615Открытые проблемы
C++Язык
Apache-2.0Лицензия
Q94Редакционная оценка

Обзор

NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.

Требования, установка и быстрый старт

В метаданных репозитория требования к установке не указаны.

Использование

В метаданных репозитория сведения об использовании не указаны.

Совместимость моделей и варианты использования

В метаданных репозитория совместимость моделей не указана.

Лицензия и примечания о рисках

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending. Quality score was recomputed from live GitHub repository facts on 2026-08-22 UTC using the seven-dimension channel formula.

vllm

vllm-project/vllm

★ 89,5KPython

sglang

sgl-project/sglang

★ 32,2KPython

OpenVINO

openvinotoolkit/openvino

★ 10,6KC++

GPUStack

gpustack/gpustack

★ 5,4KPython