इन्फरेंस, डिप्लॉयमेंट और रनटाइम

sglang

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

★ 32.2Kसितारे
⑂ 8.1Kफ़ोर्क्स
4927खुले मुद्दे
Pythonभाषा
Apache-2.0लाइसेंस
Q98संपादकीय स्कोर

अवलोकन

SGLang is a high-performance serving framework for large language models and multimodal models.

आवश्यकताएँ, इंस्टॉलेशन और त्वरित शुरुआत

रिपॉज़िटरी मेटाडेटा में इंस्टॉलेशन आवश्यकताओं का उल्लेख नहीं है।

उपयोग

रिपॉज़िटरी मेटाडेटा में उपयोग का उल्लेख नहीं है।

मॉडल संगतता और उपयोग के मामले

रिपॉज़िटरी मेटाडेटा में मॉडल संगतता का उल्लेख नहीं है।

लाइसेंस और जोखिम संबंधी टिप्पणियाँ

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

vllm

vllm-project/vllm

★ 89.5KPython

OpenVINO

openvinotoolkit/openvino

★ 10.6KC++

GPUStack

gpustack/gpustack

★ 5.4KPython

FastDeploy

PaddlePaddle/FastDeploy

★ 3.7KPython