Inférence, déploiement et exécution
ollama
ollama/ollama
A tool for running and managing large language models locally.
★ 180,2K⑂ 17,7KGo
ToolAI.io · Chaîne GitHub
Inférence, déploiement et exécution · Projets AI open source sur GitHub
Un index factuel des projets de développement LLM, agent, MCP, RAG et AI, avec pour chaque entrée la licence, la configuration, le téléchargement, des captures d’écran et les ressources associées.
Données du dépôt public
Index du projet
Inférence, déploiement et exécution
hal0
hal0ai/hal0
An open-source, self-hosted home AI inference platform designed to turn a Linux box into an OpenAI-compatible inference appliance, with native optimization for AMD Strix Halo hardware.
★ 68⑂ 7Python
Inférence, déploiement et exécution
Model-Optimizer
NVIDIA/Model-Optimizer
A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.
★ 3,3K⑂ 513Python
Inférence, déploiement et exécution
LocalAI
mudler/LocalAI
A local inference engine for self-hosting models and AI services.
★ 48,9K⑂ 4,4KGo
Inférence, déploiement et exécution
ray
ray-project/ray
A distributed computing runtime for machine learning training, tuning and model serving.
★ 43,7K⑂ 8KPython
Inférence, déploiement et exécution
checkpoint-engine
MoonshotAI/checkpoint-engine
Checkpoint-engine is a simple middleware to update model weights in LLM inference engines
★ 982⑂ 100Python
Inférence, déploiement et exécution
jan
janhq/jan
A local AI chat application for running models on a personal computer.
★ 44,3K⑂ 3KTypeScript
Page 2 / 2 · 19 projets