ইনফারেন্স, ডিপ্লয়মেন্ট ও রানটাইম
FastDeploy
PaddlePaddle/FastDeploy
High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddlePaddle
★ 3.7K⑂ 755Python
ToolAI.io · GitHub চ্যানেল
GitHub-এ নতুন AI প্রজেক্ট
GitHub-এ সম্প্রতি যোগ করা ওপেন-সোর্স AI প্রকল্প আবিষ্কার করুন—রিপোজিটরির তথ্য, সেটআপ নোট, লাইসেন্স ও সংশ্লিষ্ট রিসোর্সসহ।
পাবলিক রিপোজিটরির তথ্য
প্রকল্পের সূচি
ইনফারেন্স, ডিপ্লয়মেন্ট ও রানটাইম
llmgateway
theopenco/llmgateway
Route, manage, and analyze your LLM requests across multiple providers with a unified API interface.
★ 1.6K⑂ 172TypeScript
ইনফারেন্স, ডিপ্লয়মেন্ট ও রানটাইম
sglang
sgl-project/sglang
SGLang is a high-performance serving framework for large language models and multimodal models.
★ 32.2K⑂ 8.1KPython
ইনফারেন্স, ডিপ্লয়মেন্ট ও রানটাইম
vllm
vllm-project/vllm
A high-throughput and memory-efficient inference and serving engine for LLMs
★ 89.5K⑂ 21KPython
ফাইন-টিউনিং, প্রশিক্ষণ ও ডেটা
DeepSpeed
deepspeedai/deepspeed
DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.
★ 43K⑂ 4.9KPython
এজেন্ট ও মাল্টি-এজেন্ট
CSGHub: Open-Source LLM Asset Management Platform
opencsgs/csghub
CSGHub is an open-source, on-premise platform for managing the full lifecycle of Large Language Model assets, including models, datasets, spaces, and code, offering functionality comparable to a private Hugging Face.
★ 4.2K⑂ 525Vue
MCP ও টুল কলিং
Lemonade: Local AI Server for GPU and NPU Inference
lemonade-sdk/lemonade
Lemonade is an open-source local AI server that enables users to run optimized Large Language Models (LLMs), speech, and image generation models directly on their own GPUs and NPUs, providing a free and private alternative to cloud APIs.
★ 5.2K⑂ 436C++
এজেন্ট ও মাল্টি-এজেন্ট
Plano: AI-Native Proxy Server and Data Plane for Agentic Apps
katanemo/plano
Plano is an AI-native proxy server and data plane built in Rust that centralizes LLM routing, agent orchestration, observability, and guardrails, allowing developers to focus on core agent logic rather than infrastructure plumbing.
★ 7K⑂ 484Rust
ইনফারেন্স, ডিপ্লয়মেন্ট ও রানটাইম
Xorbits Inference (Xinference)
xorbitsai/inference
A powerful and versatile library designed to serve language, speech recognition, and multimodal models. It allows users to swap GPT for any LLM by changing a single line of code and run models on cloud, on-prem, or locally via a unified, production-ready inference API.
★ 9.5K⑂ 853Python
ইনফারেন্স, ডিপ্লয়মেন্ট ও রানটাইম
Hugging Face Transformers
huggingface/transformers
A model-definition framework for state-of-the-art machine learning models across text, vision, audio, and multimodal domains, supporting both inference and training.
★ 163.3K⑂ 34.1KPython
ইনফারেন্স, ডিপ্লয়মেন্ট ও রানটাইম
OpenVINO
openvinotoolkit/openvino
Open-source toolkit for optimizing and deploying AI inference across edge-to-cloud environments.
★ 10.6K⑂ 3.3KC++
ইনফারেন্স, ডিপ্লয়মেন্ট ও রানটাইম
Mooncake: KVCache-Centric Infrastructure for Distributed LLM Serving
kvcache-ai/mooncake
Mooncake is a C++ infrastructure project for large-scale LLM inference and training. It separates prefill, decode, and storage resources while providing high-performance transfer, distributed KV-cache storage, and fault-tolerant expert-parallel communication.
★ 6.1K⑂ 1KC++
পৃষ্ঠা 2 / 4 · 41টি প্রজেক্ট