推理、部署与运行时
ollama
ollama/ollama
帮助开发者在本地运行和管理大语言模型的工具。
★ 180.2K⑂ 17.7KGo
ToolAI.io · GitHub 频道
推理、部署与运行时 · GitHub 上的开源 AI 项目
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
公开仓库数据
项目索引
推理、部署与运行时
hal0
hal0ai/hal0
一个开源、自托管的家庭AI推理平台，旨在将Linux设备转变为兼容OpenAI的推理设备，并针对AMD Strix Halo硬件进行了原生优化。
★ 68⑂ 7Python
推理、部署与运行时
Model-Optimizer
NVIDIA/Model-Optimizer
A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.
★ 3.3K⑂ 513Python
推理、部署与运行时
LocalAI
mudler/LocalAI
用于自托管多种模型和 AI 服务的本地推理引擎。
★ 48.9K⑂ 4.4KGo
推理、部署与运行时
ray
ray-project/ray
为机器学习训练、调参和模型服务提供分布式计算运行时。
★ 43.7K⑂ 8KPython
推理、部署与运行时
checkpoint-engine
MoonshotAI/checkpoint-engine
Checkpoint-engine is a simple middleware to update model weights in LLM inference engines
★ 982⑂ 100Python
推理、部署与运行时
jan
janhq/jan
支持在个人电脑上运行模型的本地 AI 对话应用。
★ 44.3K⑂ 3KTypeScript
第 2 / 2 页 · 19 个项目