ToolAI.io · GitHub 频道

推理、部署与运行时 · GitHub 上的开源 AI 项目

一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。

搜索仓库

公开仓库数据

项目索引

3 项目

推理、部署与运行时

xorbitsai/inference

一个强大且通用的库，旨在为语言、语音识别和多模态模型提供服务。它允许用户仅通过更改一行代码即可将 GPT 替换为任意 LLM，并通过统一的、生产就绪的推理 API 在云端、本地或本地服务器上运行模型。

★ 9.5K⑂ 853Python

Apache-2.0Q98

推理、部署与运行时

hal0ai/hal0

一个开源、自托管的家庭AI推理平台，旨在将Linux设备转变为兼容OpenAI的推理设备，并针对AMD Strix Halo硬件进行了原生优化。

★ 68⑂ 7Python

Apache-2.0Q89

推理、部署与运行时

janhq/jan

支持在个人电脑上运行模型的本地 AI 对话应用。

★ 44.3K⑂ 3KTypeScript

未检测到许可证Q80