इन्फरेंस, डिप्लॉयमेंट और रनटाइम
FastDeploy
PaddlePaddle/FastDeploy
High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddlePaddle
★ 3.7K⑂ 755Python
ToolAI.io · GitHub चैनल
GitHub पर ओपन-सोर्स AI प्रोजेक्ट्स
LLM, एजेंट, MCP, RAG और AI डेवलपमेंट प्रोजेक्ट्स की तथ्यों पर आधारित इंडेक्स, जिसमें हर प्रविष्टि के लिए लाइसेंस, सेटअप, डाउनलोड, स्क्रीनशॉट और संबंधित संसाधन शामिल हैं।
सार्वजनिक रिपॉज़िटरी का डेटा
प्रोजेक्ट इंडेक्स
एजेंट और मल्टी-एजेंट
LangWatch
langwatch/langwatch
An open-core platform for evaluating, testing, tracing, and monitoring LLM applications and AI agents before release and in production.
★ 3.5K⑂ 345TypeScript
एजेंट और मल्टी-एजेंट
TruLens: Evaluation and Tracking for LLM Experiments and AI Agents
truera/trulens
TruLens is an open-source, OpenTelemetry-native evaluation and tracking library for LLM applications and AI agents, enabling developers to trace every step, score performance with LLM judges, and compare app versions.
★ 3.5K⑂ 319Python
RAG और ज्ञान प्रणालियाँ
EvalScope
modelscope/evalscope
A streamlined and customizable framework for efficient large model (LLM, VLM, AIGC) evaluation and performance benchmarking.
★ 3.2K⑂ 440Python
इन्फरेंस, डिप्लॉयमेंट और रनटाइम
vLLM Ascend
vllm-project/vllm-ascend
A community-maintained hardware plugin that enables vLLM to run model inference and serving workloads on supported Ascend NPUs.
★ 2.7K⑂ 2.1KC++
LLM और फ़ाउंडेशन मॉडल
Bionic GPT
bionic-gpt/bionic-gpt
Bionic is a Rust-based, on-premise alternative to ChatGPT designed for private generative AI deployments. It provides a familiar chat interface, local or remote model access, team controls, retrieval-augmented assistants, data integrations, observability, and Kubernetes-oriented scaling.
★ 2.4K⑂ 239Rust
इन्फरेंस, डिप्लॉयमेंट और रनटाइम
any-llm: A Unified Python Interface for LLM Providers
mozilla-ai/any-llm
any-llm is a Python SDK for communicating with multiple LLM providers through one interface. It supports switching providers and models with minimal code changes while using official provider SDKs when available.
★ 2.2K⑂ 211Python
एजेंट और मल्टी-एजेंट
Future AGI
future-agi/future-agi
An open-source, self-hostable platform for evaluating, tracing, simulating, protecting, routing, and optimizing LLM and AI-agent applications.
★ 1.7K⑂ 498Python
इन्फरेंस, डिप्लॉयमेंट और रनटाइम
llmgateway
theopenco/llmgateway
Route, manage, and analyze your LLM requests across multiple providers with a unified API interface.
★ 1.6K⑂ 172TypeScript
इन्फरेंस, डिप्लॉयमेंट और रनटाइम
xLLM: High-Performance Inference Engine for Diverse AI Accelerators
xllm-ai/xllm
xLLM is a C++ inference framework for LLM, VLM, DiT and REC models. It targets high-throughput, low-latency deployment on several AI accelerator families and separates service-layer scheduling and availability from engine-layer computation.
★ 1.5K⑂ 279C++
MCP और टूल कॉलिंग
awesome-agentic-ai-zh
wenyuchiou/awesome-agentic-ai-zh
A trilingual (繁中 / English / 简中) learning roadmap for agentic AI: from LLM basics to multi-agent systems, with 240+ curated resources and hands-on examples. 中文 AI agent 學習地圖。
★ 6.1K⑂ 814Python
LLM और फ़ाउंडेशन मॉडल
PaddleNLP
PaddlePaddle/PaddleNLP
Easy-to-use and powerful LLM and SLM library with awesome model zoo.
★ 13K⑂ 3KPython
पृष्ठ 5 / 10 · 118 प्रोजेक्ट