Обзор
A high-throughput and memory-efficient inference and serving engine for LLMs
Требования, установка и быстрый старт
В метаданных репозитория требования к установке не указаны.
Использование
В метаданных репозитория сведения об использовании не указаны.
Совместимость моделей и варианты использования
В метаданных репозитория совместимость моделей не указана.
Лицензия и примечания о рисках
Apache-2.0
ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.