推理、部署与运行时
Xorbits Inference (Xinference)
xorbitsai/inference
一个强大且通用的库，旨在为语言、语音识别和多模态模型提供服务。它允许用户仅通过更改一行代码即可将 GPT 替换为任意 LLM，并通过统一的、生产就绪的推理 API 在云端、本地或本地服务器上运行模型。
★ 9.5K⑂ 853Python
ToolAI.io · GitHub 频道
推理、部署与运行时 · GitHub 上的开源 AI 项目
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
公开仓库数据
项目索引
推理、部署与运行时
hal0
hal0ai/hal0
一个开源、自托管的家庭AI推理平台，旨在将Linux设备转变为兼容OpenAI的推理设备，并针对AMD Strix Halo硬件进行了原生优化。
★ 67⑂ 7Python