انفرنس، ڈپلائمنٹ اور رَن ٹائم

sglang

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

★ 32.2Kستارے
⑂ 8.1Kفورکس
4927کھلے مسائل
Pythonزبان
Apache-2.0لائسنس
Q98ادارتی اسکور

جائزہ

SGLang is a high-performance serving framework for large language models and multimodal models.

ضروریات، انسٹالیشن اور فوری آغاز

ریپوزٹری میٹا ڈیٹا میں انسٹالیشن کی ضروریات درج نہیں ہیں۔

استعمال

ریپوزٹری کے میٹا ڈیٹا میں استعمال کا ذکر نہیں ہے۔

ماڈل کی مطابقت اور استعمال کے مواقع

ریپوزٹری میٹا ڈیٹا میں ماڈل کی مطابقت درج نہیں ہے۔

لائسنس اور خطرے سے متعلق نوٹس

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

vllm

vllm-project/vllm

★ 89.5KPython

OpenVINO

openvinotoolkit/openvino

★ 10.6KC++

GPUStack

gpustack/gpustack

★ 5.4KPython

FastDeploy

PaddlePaddle/FastDeploy

★ 3.7KPython