इन्फरेंस, डिप्लॉयमेंट और रनटाइम

Model-Optimizer

NVIDIA/Model-Optimizer

A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.

★ 3.3Kसितारे
⑂ 513फ़ोर्क्स
318खुले मुद्दे
Pythonभाषा
Apache-2.0लाइसेंस
Q86संपादकीय स्कोर

अवलोकन

A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.

आवश्यकताएँ, इंस्टॉलेशन और त्वरित शुरुआत

रिपॉज़िटरी मेटाडेटा में इंस्टॉलेशन आवश्यकताओं का उल्लेख नहीं है।

उपयोग

रिपॉज़िटरी मेटाडेटा में उपयोग का उल्लेख नहीं है।

मॉडल संगतता और उपयोग के मामले

रिपॉज़िटरी मेटाडेटा में मॉडल संगतता का उल्लेख नहीं है।

लाइसेंस और जोखिम संबंधी टिप्पणियाँ

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending. Quality score was recomputed from live GitHub repository facts on 2026-08-22 UTC using the seven-dimension channel formula.

vllm

vllm-project/vllm

★ 89.5KPython

sglang

sgl-project/sglang

★ 32.2KPython

OpenVINO

openvinotoolkit/openvino

★ 10.6KC++

GPUStack

gpustack/gpustack

★ 5.4KPython