Suy luận, Triển khai & Thời gian chạy
ray
ray-project/ray
A distributed computing runtime for machine learning training, tuning and model serving.
★ 43,7K⑂ 8KPython
ToolAI.io · Kênh GitHub
Các dự án AI mã nguồn mở trên GitHub
Chỉ mục dựa trên dữ kiện về các dự án phát triển LLM, tác nhân, MCP, RAG và AI, kèm giấy phép, thiết lập, tải xuống, ảnh chụp màn hình và tài nguyên liên quan cho từng mục.
Dữ liệu kho lưu trữ công khai
Mục lục dự án
Đánh giá, khả năng quan sát & an toàn
garak — LLM vulnerability scanning
NVIDIA/garak
the LLM vulnerability scanner
★ 8,9K⑂ 1,2KPython
LLM & Mô hình nền tảng
MiniMax-M2
MiniMax-AI/MiniMax-M2
MiniMax-M2, a model built for Max coding & agentic workflows.
★ 2,6K⑂ 215—
Suy luận, Triển khai & Thời gian chạy
checkpoint-engine
MoonshotAI/checkpoint-engine
Checkpoint-engine is a simple middleware to update model weights in LLM inference engines
★ 982⑂ 100Python
LLM & Mô hình nền tảng
Qwen3 — Open-weight multilingual language models
QwenLM/Qwen3
Qwen3 is the large language model series developed by Qwen team, Alibaba Cloud
★ 27,5K⑂ 2KPython
Đánh giá, khả năng quan sát & an toàn
evals — Model evaluation framework
openai/evals
Evals is a framework for evaluating LLMs and LLM systems, and an open-source registry of benchmarks
★ 19,2K⑂ 3,1KPython
LLM & Mô hình nền tảng
Qwen3-Coder — Code-focused language models
QwenLM/Qwen3-Coder
Qwen3-Coder is the code version of Qwen3, the large language model series developed by Qwen team
★ 16,8K⑂ 1,2KPython
Suy luận, Triển khai & Thời gian chạy
TensorRT-LLM — Optimized LLM inference
NVIDIA/TensorRT-LLM
TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way
★ 14,4K⑂ 2,7KC++
LLM & Mô hình nền tảng
PaddleFormers
PaddlePaddle/PaddleFormers
PaddleFormers is an easy-to-use library of pre-trained large language model zoo based on PaddlePaddle.
★ 13K⑂ 2,2KPython
Suy luận, Triển khai & Thời gian chạy
jan
janhq/jan
A local AI chat application for running models on a personal computer.
★ 44,3K⑂ 3KTypeScript
Trang 10 / 10 · 118 dự án