Inferência, implantação e execução

llmgateway

theopenco/llmgateway

Route, manage, and analyze your LLM requests across multiple providers with a unified API interface.

★ 1,6KEstrelas
⑂ 172Forks
66Problemas em aberto
TypeScriptIdioma
NOASSERTIONLicença
Q98Pontuação editorial

Visão geral

Route, manage, and analyze your LLM requests across multiple providers with a unified API interface.

Requisitos, instalação e início rápido

Os requisitos de instalação não estão especificados nos metadados do repositório.

Uso

O uso não é informado nos metadados do repositório.

Compatibilidade do modelo e casos de uso

A compatibilidade do modelo não está especificada nos metadados do repositório.

Observações sobre licença e riscos

NOASSERTION

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

vllm

vllm-project/vllm

★ 89,5KPython

sglang

sgl-project/sglang

★ 32,2KPython

OpenVINO

openvinotoolkit/openvino

★ 10,6KC++

GPUStack

gpustack/gpustack

★ 5,4KPython