微调、训练与数据

Oumi：开源基础模型训练、评估、推理与部署平台

oumi-ai/oumi

Oumi 是一个基于 Python 的平台，用于数据准备、开放权重基础模型训练与微调、结果评估、推理运行和模型部署。它提供配置配方及统一 CLI，支持本地、集群和云端工作流。

打开官方仓库 ↗ 项目主页 ↗
★ 9.4K星级
⑂ 784Fork 数
31未解决的问题
Python语言
Apache-2.0许可证
Q@project.QualityScore编辑评分

概览

该项目覆盖基础模型生命周期，包括数据合成与整理、训练、评估、推理、远程任务执行和部署。README 描述的技术包括全量微调、SFT、LoRA、QLoRA、DPO、KTO、GRPO、视觉 DPO、模型蒸馏和 AWQ 量化。Oumi 支持文本与多模态工作流，通过 FSDP、DeepSpeed 和 DDP 进行分布式训练，并通过包括 vLLM 和 SGLang 在内的引擎进行推理。仓库元数据显示 9,369 个 stars、784 个 forks、31 个开放 issue，且主分支处于活跃、未归档状态。

主要功能

  • README 所述可训练和微调 10M 至 405B 参数规模的模型
  • 全量微调、SFT、LoRA、QLoRA、DPO、KTO、GRPO 及视觉相关工作流
  • 文本和多模态模型支持
  • 用于训练、评估和推理的现成 YAML 配方
  • 借助 LLM 评审进行数据合成与整理
  • 通过 FSDP、DeepSpeed 和 DDP 进行分布式训练
  • 包括 vLLM 和 SGLang 在内的推理集成
  • 可跨 AWS、Azure、GCP 和 Lambda 运行远程任务
  • 包括 OpenAI、Anthropic、Vertex AI、Together 和 Parasail 在内的商业 API 集成
  • 通过 oumi deploy CLI 部署专用端点
  • 面向 Claude 和 Cursor 的 MCP 服务器集成
  • Notebook 教程和 Google Colab 示例

要求、安装和快速入门

推荐的包安装方式：`uv pip install oumi`。GPU 支持：`uv pip install 'oumi[gpu]'`。开发版本可使用 `uv pip install git+https://github.com/oumi-ai/oumi.git` 安装；README 表示可使用 pip 替代 uv。容器镜像可通过 `docker pull ghcr.io/oumi-ai/oumi:latest` 获取。README 还提供实验性的隔离安装程序：`curl -LsSf https://oumi.ai/install.sh | bash`。执行前请审查脚本，并参阅 https://oumi.ai/docs/en/latest/get_started/installation.html 了解高级选项。

用法

使用内置配方快速开始：通过 `oumi train -c configs/recipes/smollm/sft/135m/quickstart_train.yaml` 训练；通过 `oumi evaluate -c configs/recipes/smollm/evaluation/135m/quickstart_eval.yaml` 评估；通过 `oumi infer -c configs/recipes/smollm/inference/135m_infer.yaml --interactive` 启动交互式推理。远程任务使用 `oumi launch up -c <config>`，可通过 `--resources.cloud` 选择目标云服务。教程 Notebook 覆盖核心工作流、LoRA 微调、蒸馏、评估、远程任务和 LLM-as-a-Judge 数据整理。

模型兼容性与使用场景

所提供记录明确提及 Qwen、Gemma、Llama、DeepSeek、Phi、Falcon、OLMo、SmolLM、gpt-oss 和视觉语言模型。配方示例包括 Qwen3 与 Qwen 视觉变体、DeepSeek R1 及其蒸馏变体、Llama 3.x 与 Llama 4、Falcon-H1、Falcon-E、Gemma 3 和 OLMo 3。新闻条目报告了对 Gemma 4 和 Qwen3.5 的支持。README 表示兼容范围广于示例配方，但所提供摘录未包含完整模型列表。

许可证与风险说明

仓库元数据将许可证标识为 Apache-2.0。许可证 URL：https://api.github.com/licenses/apache-2.0。依赖项、模型权重、数据集、托管 API 和服务商服务可能具有独立条款；其许可证详情未在仓库元数据中说明。

发布与维护

README 报告 Oumi v0.8 包含 `oumi deploy`、`oumi-mcp` 服务器、覆盖 Anthropic、Fireworks 和 Together 的批量 API 支持，以及 Transformers v5、TRL 和 vLLM 升级。它还报告了 Gemma 4 和 Qwen3.5 支持。此前列出的版本增加了 Python 3.13 支持、数据分析、数据合成、超参数调优、DeepSpeed、视觉 DPO、AWQ 量化、自适应推理和 GRPO。发布页面：https://github.com/oumi-ai/oumi/releases/tag/v0.8。

Langfuse

langfuse/langfuse

★ 32.4KTypeScript