Resumen
A high-throughput and memory-efficient inference and serving engine for LLMs
Requisitos, instalación y guía rápida
Los requisitos de instalación no se indican en los metadatos del repositorio.
Uso
El uso no se indica en los metadatos del repositorio.
Compatibilidad de modelos y casos de uso
La compatibilidad del modelo no se indica en los metadatos del repositorio.
Notas sobre la licencia y los riesgos
Apache-2.0
ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.