推理、部署与运行时
NVIDIA Container Toolkit：让容器访问 NVIDIA GPU
NVIDIA/nvidia-container-toolkit
为 Docker 等容器运行时配置 GPU 访问，适合把模型推理、训练和 CUDA 工作负载部署到 NVIDIA GPU 服务器。
★ 4.6K⑂ 589Go
ToolAI.io · GitHub 频道
GitHub 上的新 AI 项目
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
公开仓库数据
项目索引
多模态 AI
TRELLIS.2：从图片生成带材质的 3D 资产
microsoft/TRELLIS.2
微软的 3D 生成项目，提供图片转三维、PBR 纹理生成与 GLB 导出，适合具备 GPU 环境的资产制作流程。
★ 11.2K⑂ 1.4KPython
微调、训练与数据
ColossalAI
hpcaitech/ColossalAI
面向大模型训练与推理的分布式工具集，提供多种并行策略与内存管理，适合解决单卡装不下或多卡利用不足的问题。
★ 41.4K⑂ 4.5KPython
语音、音频与声音
ChatTTS
2noise/ChatTTS
面向中英文对话的语音生成项目，支持说话人和停顿、笑声等韵律控制；发布模型限非商业用途。
★ 39.8K⑂ 4.2KPython
机器人与边缘 AI
mediapipe
google-ai-edge/mediapipe
面向移动端、浏览器和边缘设备的机器学习组件，提供视觉、文本与音频任务 API、模型及定制工具。
★ 36.9K⑂ 6.2KC++
推理、部署与运行时
jan
janhq/jan
支持在个人电脑上运行模型的本地 AI 对话应用。
★ 44.3K⑂ 3KTypeScript
推理、部署与运行时
ray
ray-project/ray
为机器学习训练、调参和模型服务提供分布式计算运行时。
★ 43.7K⑂ 8KPython
推理、部署与运行时
LocalAI
mudler/LocalAI
用于自托管多种模型和 AI 服务的本地推理引擎。
★ 48.9K⑂ 4.4KGo
计算机视觉
yolov5
ultralytics/yolov5
基于 PyTorch 的目标检测项目，支持模型训练、推理和导出。
★ 58K⑂ 17.5KPython
计算机视觉
ultralytics
ultralytics/ultralytics
提供目标检测、分割、姿态估计等视觉模型的训练与推理工具。
★ 61.3K⑂ 11.7KPython
推理、部署与运行时
ollama
ollama/ollama
帮助开发者在本地运行和管理大语言模型的工具。
★ 180.2K⑂ 17.7KGo
推理、部署与运行时
checkpoint-engine
MoonshotAI/checkpoint-engine
Checkpoint-engine is a simple middleware to update model weights in LLM inference engines
★ 982⑂ 100Python
第 1 / 4 页 · 46 个项目