ইনফারেন্স, ডিপ্লয়মেন্ট ও রানটাইম

vllm

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

★ 89.5Kতারকা
⑂ 21Kফর্ক
6832খোলা সমস্যাগুলো
Pythonভাষা
Apache-2.0লাইসেন্স
Q98সম্পাদকীয় স্কোর

ওভারভিউ

A high-throughput and memory-efficient inference and serving engine for LLMs

প্রয়োজনীয়তা, ইনস্টলেশন ও দ্রুত শুরু

রিপোজিটরি মেটাডেটায় ইনস্টলেশনের প্রয়োজনীয়তাগুলি উল্লেখ করা নেই।

ব্যবহার

রিপোজিটরির মেটাডেটাতে ব্যবহার উল্লেখ করা নেই।

মডেলের সামঞ্জস্যতা ও ব্যবহারের ক্ষেত্র

রিপোজিটরি মেটাডেটায় মডেলের সামঞ্জস্যতা উল্লেখ করা নেই।

লাইসেন্স ও ঝুঁকি-সংক্রান্ত নোট

Apache-2.0

ToolAI metadata-only listing: repository metadata is public; editorial content and manual verification are still pending.

sglang

sgl-project/sglang

★ 32.2KPython

OpenVINO

openvinotoolkit/openvino

★ 10.6KC++

GPUStack

gpustack/gpustack

★ 5.4KPython

FastDeploy

PaddlePaddle/FastDeploy

★ 3.7KPython