Suy luận, Triển khai & Thời gian chạy
ollama
ollama/ollama
A tool for running and managing large language models locally.
★ 180,2K⑂ 17,7KGo
ToolAI.io · Kênh GitHub
Suy luận, Triển khai & Thời gian chạy · Các dự án AI mã nguồn mở trên GitHub
Chỉ mục dựa trên dữ kiện về các dự án phát triển LLM, tác nhân, MCP, RAG và AI, kèm giấy phép, thiết lập, tải xuống, ảnh chụp màn hình và tài nguyên liên quan cho từng mục.
Dữ liệu kho lưu trữ công khai
Mục lục dự án
Suy luận, Triển khai & Thời gian chạy
hal0
hal0ai/hal0
An open-source, self-hosted home AI inference platform designed to turn a Linux box into an OpenAI-compatible inference appliance, with native optimization for AMD Strix Halo hardware.
★ 68⑂ 7Python
Suy luận, Triển khai & Thời gian chạy
Model-Optimizer
NVIDIA/Model-Optimizer
A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.
★ 3,3K⑂ 513Python
Suy luận, Triển khai & Thời gian chạy
LocalAI
mudler/LocalAI
A local inference engine for self-hosting models and AI services.
★ 48,9K⑂ 4,4KGo
Suy luận, Triển khai & Thời gian chạy
ray
ray-project/ray
A distributed computing runtime for machine learning training, tuning and model serving.
★ 43,7K⑂ 8KPython
Suy luận, Triển khai & Thời gian chạy
checkpoint-engine
MoonshotAI/checkpoint-engine
Checkpoint-engine is a simple middleware to update model weights in LLM inference engines
★ 982⑂ 100Python
Suy luận, Triển khai & Thời gian chạy
jan
janhq/jan
A local AI chat application for running models on a personal computer.
★ 44,3K⑂ 3KTypeScript
Trang 2 / 2 · 19 dự án