Inférence, déploiement et exécution
ray
ray-project/ray
A distributed computing runtime for machine learning training, tuning and model serving.
★ 43,7K⑂ 8KPython
ToolAI.io · Chaîne GitHub
Répertoire de projets AI sur GitHub
Parcourez le répertoire complet de projets AI open source de ToolAI sur GitHub, organisé par sujet, langage et licence.
Données du dépôt public
Index du projet
Évaluation, observabilité et sécurité
garak — LLM vulnerability scanning
NVIDIA/garak
the LLM vulnerability scanner
★ 8,9K⑂ 1,2KPython
LLM et modèles de fondation
MiniMax-M2
MiniMax-AI/MiniMax-M2
MiniMax-M2, a model built for Max coding & agentic workflows.
★ 2,6K⑂ 215—
Inférence, déploiement et exécution
checkpoint-engine
MoonshotAI/checkpoint-engine
Checkpoint-engine is a simple middleware to update model weights in LLM inference engines
★ 982⑂ 100Python
LLM et modèles de fondation
Qwen3 — Open-weight multilingual language models
QwenLM/Qwen3
Qwen3 is the large language model series developed by Qwen team, Alibaba Cloud
★ 27,5K⑂ 2KPython
Évaluation, observabilité et sécurité
evals — Model evaluation framework
openai/evals
Evals is a framework for evaluating LLMs and LLM systems, and an open-source registry of benchmarks
★ 19,2K⑂ 3,1KPython
LLM et modèles de fondation
Qwen3-Coder — Code-focused language models
QwenLM/Qwen3-Coder
Qwen3-Coder is the code version of Qwen3, the large language model series developed by Qwen team
★ 16,8K⑂ 1,2KPython
Inférence, déploiement et exécution
TensorRT-LLM — Optimized LLM inference
NVIDIA/TensorRT-LLM
TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way
★ 14,4K⑂ 2,7KC++
LLM et modèles de fondation
PaddleFormers
PaddlePaddle/PaddleFormers
PaddleFormers is an easy-to-use library of pre-trained large language model zoo based on PaddlePaddle.
★ 13K⑂ 2,2KPython
Inférence, déploiement et exécution
jan
janhq/jan
A local AI chat application for running models on a personal computer.
★ 44,3K⑂ 3KTypeScript
Page 10 / 10 · 118 projets