추론, 배포 및 런타임

llmgateway

theopenco/llmgateway

Route, manage, and analyze your LLM requests across multiple providers with a unified API interface.

★ 1.6K별점
⑂ 172포크 수
66미해결 이슈
TypeScript언어
NOASSERTION라이선스
Q98편집 점수

개요

Route, manage, and analyze your LLM requests across multiple providers with a unified API interface.

요구 사항, 설치 및 빠른 시작

저장소 메타데이터에 설치 요구 사항이 명시되어 있지 않습니다.

사용 정보

사용 정보는 저장소 메타데이터에 명시되어 있지 않습니다.

모델 호환성 및 사용 사례

저장소 메타데이터에 모델 호환성이 명시되어 있지 않습니다.

라이선스 및 위험 참고 사항

NOASSERTION

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

vllm

vllm-project/vllm

★ 89.5KPython

sglang

sgl-project/sglang

★ 32.2KPython

OpenVINO

openvinotoolkit/openvino

★ 10.6KC++

GPUStack

gpustack/gpustack

★ 5.4KPython