Инференс, развёртывание и среда выполнения
ollama
ollama/ollama
A tool for running and managing large language models locally.
★ 180,2K⑂ 17,7KGo
ToolAI.io · Канал GitHub
Инференс, развёртывание и среда выполнения · AI-проекты с открытым исходным кодом на GitHub
Фактический каталог проектов по разработке LLM, агентов, MCP, RAG и AI с информацией о лицензии, настройке, скачивании, скриншотами и связанными ресурсами для каждой записи.
Данные публичного репозитория
Индекс проекта
Инференс, развёртывание и среда выполнения
hal0
hal0ai/hal0
An open-source, self-hosted home AI inference platform designed to turn a Linux box into an OpenAI-compatible inference appliance, with native optimization for AMD Strix Halo hardware.
★ 68⑂ 7Python
Инференс, развёртывание и среда выполнения
Model-Optimizer
NVIDIA/Model-Optimizer
A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.
★ 3,3K⑂ 513Python
Инференс, развёртывание и среда выполнения
LocalAI
mudler/LocalAI
A local inference engine for self-hosting models and AI services.
★ 48,9K⑂ 4,4KGo
Инференс, развёртывание и среда выполнения
ray
ray-project/ray
A distributed computing runtime for machine learning training, tuning and model serving.
★ 43,7K⑂ 8KPython
Инференс, развёртывание и среда выполнения
checkpoint-engine
MoonshotAI/checkpoint-engine
Checkpoint-engine is a simple middleware to update model weights in LLM inference engines
★ 982⑂ 100Python
Инференс, развёртывание и среда выполнения
jan
janhq/jan
A local AI chat application for running models on a personal computer.
★ 44,3K⑂ 3KTypeScript
Страница 2 / 2 · 19 проектов