Overzicht
A high-throughput and memory-efficient inference and serving engine for LLMs
Vereisten, installatie en snel aan de slag
Installatievereisten staan niet vermeld in de metadata van de repository.
Gebruik
Het gebruik wordt niet vermeld in de metagegevens van de repository.
Modelcompatibiliteit en gebruiksscenario's
Modelcompatibiliteit staat niet vermeld in de metadata van de repository.
Licentie- en risiconotities
Apache-2.0
ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.