推理、部署与运行时
Hugging Face Transformers
huggingface/transformers
一个面向文本、视觉、音频和多模态领域最先进机器学习模型的模型定义框架，同时支持推理和训练。
★ 163.3K⑂ 34.1KPython
ToolAI.io · GitHub 频道
推理、部署与运行时 · GitHub 上的开源 AI 项目
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
公开仓库数据
项目索引
推理、部署与运行时
Xorbits Inference (Xinference)
xorbitsai/inference
一个强大且通用的库，旨在为语言、语音识别和多模态模型提供服务。它允许用户仅通过更改一行代码即可将 GPT 替换为任意 LLM，并通过统一的、生产就绪的推理 API 在云端、本地或本地服务器上运行模型。
★ 9.5K⑂ 853Python