Suy luận, Triển khai & Thời gian chạy

TensorRT

NVIDIA/TensorRT

NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.

★ 13,2KSố sao
⑂ 2,4KFork
615Vấn đề đang mở
C++Ngôn ngữ
Apache-2.0Giấy phép
Q94Điểm biên tập

Tổng quan

NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.

Yêu cầu, cài đặt và bắt đầu nhanh

Yêu cầu cài đặt không được nêu trong siêu dữ liệu của kho lưu trữ.

Cách sử dụng

Thông tin sử dụng không được nêu trong siêu dữ liệu của kho lưu trữ.

Khả năng tương thích của mô hình và trường hợp sử dụng

Khả năng tương thích của mô hình không được nêu trong siêu dữ liệu của kho lưu trữ.

Ghi chú về giấy phép và rủi ro

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending. Quality score was recomputed from live GitHub repository facts on 2026-08-22 UTC using the seven-dimension channel formula.

vllm

vllm-project/vllm

★ 89,5KPython

sglang

sgl-project/sglang

★ 32,2KPython

OpenVINO

openvinotoolkit/openvino

★ 10,6KC++

GPUStack

gpustack/gpustack

★ 5,4KPython