ToolAI.io · Kênh GitHub

Các dự án AI nổi bật trên GitHub

Theo dõi các kho lưu trữ AI mã nguồn mở đang hoạt động trong các chủ đề LLM, tác nhân, MCP, RAG và lập trình, kèm số sao và thông tin dự án đã xác minh.

Dữ liệu kho lưu trữ công khai

Mục lục dự án

132 Dự án
MCP & Gọi công cụ

litellm

berriai/litellm

The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

★ 56,8K⑂ 10,8KPython
NOASSERTIONQ98
Suy luận, Triển khai & Thời gian chạy

llmgateway

theopenco/llmgateway

Route, manage, and analyze your LLM requests across multiple providers with a unified API interface.

★ 1,6K⑂ 172TypeScript
NOASSERTIONQ98
Suy luận, Triển khai & Thời gian chạy

vllm

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

★ 89,5K⑂ 21KPython
Apache-2.0Q98
Ảnh chụp màn hình của 1flowbase
Tác nhân & Đa tác nhân

1flowbase

taichuy/1flowbase

An open-source AI gateway that allows local agent clients to publish fusion-style multi-model workflows as OpenAI and Claude-compatible virtual models, providing full observability into traces, tokens, latency, and costs.

★ 259⑂ 19Rust
Apache-2.0Q89
Ảnh chụp màn hình của TensorRT-LLM — Optimized LLM inference
Suy luận, Triển khai & Thời gian chạy

TensorRT-LLM — Optimized LLM inference

NVIDIA/TensorRT-LLM

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way

★ 14,4K⑂ 2,7KC++
NOASSERTIONQ82
Ảnh chụp màn hình của hal0
Suy luận, Triển khai & Thời gian chạy

hal0

hal0ai/hal0

An open-source, self-hosted home AI inference platform designed to turn a Linux box into an OpenAI-compatible inference appliance, with native optimization for AMD Strix Halo hardware.

★ 68⑂ 7Python
Apache-2.0Q89
Tác nhân & Đa tác nhân

rig

0xplaygrounds/rig

⚙️🦀 Build modular and scalable LLM Applications in Rust

★ 8,3K⑂ 937Rust
MITQ98
Ảnh chụp màn hình của Askimo
MCP & Gọi công cụ

Askimo

askimo-ai/askimo

A native desktop AI client for chat, local RAG, multi-step AI workflows (Plans), and agent skills, supporting multiple cloud and local LLM providers while keeping user files strictly on the machine.

★ 347⑂ 73Kotlin
AGPL-3.0Q94
Tác nhân & Đa tác nhân

second-brain

henrydaum/second-brain

Second Brain is an agentic framework that acts as an operating system, using local file intelligence, workflow automation, and LLMs to complete tasks and communicate over multiple modalities and messaging platforms.

★ 607⑂ 75Python
MITQ92
MCP & Gọi công cụ

awesome-agentic-ai-zh

wenyuchiou/awesome-agentic-ai-zh

A trilingual (繁中 / English / 简中) learning roadmap for agentic AI: from LLM basics to multi-agent systems, with 240+ curated resources and hands-on examples. 中文 AI agent 學習地圖。

★ 6,1K⑂ 814Python
MITQ96
Ảnh chụp màn hình của SBproxy
MCP & Gọi công cụ

SBproxy

soapbucket/sbproxy

An open-source, self-hosted Enterprise AI Gateway and LLM proxy written in Rust, providing an OpenAI-compatible API for over 60 providers and supporting local model hosting, MCP tool federation, and robust traffic governance.

★ 49⑂ 1Rust
Apache-2.0Q86

Trang 4 / 11 · 132 dự án

Đã cập nhật gần đây

Craft Anythingstorytold/craft-anything★ 27,4K elephant-goldfish-modelgoogle/elephant-goldfish-model★ 15,6K DeepInferdeepseek-ai/DeepInfer★ 25,7K ComfyUIComfy-Org/ComfyUI★ 136,7K CrewAICrewAIInc/crewAI★ 59,5K Microsoft Agent Frameworkmicrosoft/agent-framework★ 14K

Được gắn sao nhiều nhất

ECCaffaan-m/ECC★ 248,8K Hermes Agentnousresearch/hermes-agent★ 227,1K tensorflowtensorflow/tensorflow★ 198,8K AutoGPTSignificant-Gravitas/AutoGPT★ 187,1K ollamaollama/ollama★ 180,2K markitdown — Document conversion and extractionmicrosoft/markitdown★ 174,9K