Übersicht
A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.
Voraussetzungen, Installation und Schnellstart
Installationsanforderungen sind in den Repository-Metadaten nicht angegeben.
Nutzung
Die Nutzung ist in den Repository-Metadaten nicht angegeben.
Modellkompatibilität und Anwendungsfälle
Die Modellkompatibilität ist in den Repository-Metadaten nicht angegeben.
Lizenz- und Risikohinweise
Apache-2.0
ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending. Quality score was recomputed from live GitHub repository facts on 2026-08-22 UTC using the seven-dimension channel formula.