ইনফারেন্স, ডিপ্লয়মেন্ট ও রানটাইম

sglang

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

★ 32.2Kতারকা
⑂ 8.1Kফর্ক
4927খোলা সমস্যাগুলো
Pythonভাষা
Apache-2.0লাইসেন্স
Q98সম্পাদকীয় স্কোর

ওভারভিউ

SGLang is a high-performance serving framework for large language models and multimodal models.

প্রয়োজনীয়তা, ইনস্টলেশন ও দ্রুত শুরু

রিপোজিটরি মেটাডেটায় ইনস্টলেশনের প্রয়োজনীয়তাগুলি উল্লেখ করা নেই।

ব্যবহার

রিপোজিটরির মেটাডেটাতে ব্যবহার উল্লেখ করা নেই।

মডেলের সামঞ্জস্যতা ও ব্যবহারের ক্ষেত্র

রিপোজিটরি মেটাডেটায় মডেলের সামঞ্জস্যতা উল্লেখ করা নেই।

লাইসেন্স ও ঝুঁকি-সংক্রান্ত নোট

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

vllm

vllm-project/vllm

★ 89.5KPython

OpenVINO

openvinotoolkit/openvino

★ 10.6KC++

GPUStack

gpustack/gpustack

★ 5.4KPython

FastDeploy

PaddlePaddle/FastDeploy

★ 3.7KPython