انفرنس، ڈپلائمنٹ اور رَن ٹائم

vllm

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

★ 89.5Kستارے
⑂ 21Kفورکس
6832کھلے مسائل
Pythonزبان
Apache-2.0لائسنس
Q98ادارتی اسکور

جائزہ

A high-throughput and memory-efficient inference and serving engine for LLMs

ضروریات، انسٹالیشن اور فوری آغاز

ریپوزٹری میٹا ڈیٹا میں انسٹالیشن کی ضروریات درج نہیں ہیں۔

استعمال

ریپوزٹری کے میٹا ڈیٹا میں استعمال کا ذکر نہیں ہے۔

ماڈل کی مطابقت اور استعمال کے مواقع

ریپوزٹری میٹا ڈیٹا میں ماڈل کی مطابقت درج نہیں ہے۔

لائسنس اور خطرے سے متعلق نوٹس

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

sglang

sgl-project/sglang

★ 32.2KPython

OpenVINO

openvinotoolkit/openvino

★ 10.6KC++

GPUStack

gpustack/gpustack

★ 5.4KPython

FastDeploy

PaddlePaddle/FastDeploy

★ 3.7KPython