智能体与多智能体

Unsloth:本地模型训练、推理与智能体集成

unslothai/unsloth

Unsloth 是一套基于 Python 的自托管工具包,提供测试版 Web UI 和代码核心,可在本地运行、微调、导出和服务语言、视觉、音频及嵌入模型。

★ 69.4K星级
⑂ 6.3KFork 数
980未解决的问题
Python语言
Apache-2.0许可证
Q@project.QualityScore编辑评分

概览

Unsloth 提供两个主要界面:用于本地模型工作流的 Web UI Unsloth Studio,以及代码包 Unsloth Core。Studio 支持模型发现、推理、数据集准备、训练、强化学习、可观测性、导出和兼容 API 端点。仓库还介绍了本地智能体、MCP 客户端、外部 API 提供商、vLLM 和 Ollama 的集成。

主要功能

  • 用于本地推理、训练、数据集准备、监控和导出的测试版 Web UI
  • 代码化的 Unsloth Core 包
  • 支持文本、音频、嵌入和视觉工作流
  • GGUF、LoRA 适配器和 safetensors 模型处理
  • LoRA、QLoRA、全量微调、强化学习、预训练、4 位、16 位和 FP8 工作流
  • OpenAI 兼容的 /v1/chat/completions 和 /v1/responses 端点
  • Anthropic 兼容的 /v1/messages 端点
  • 通过 unsloth start 命令集成智能体
  • 可选启用的 MCP 端点,可控制模型、训练、Recipes、检查点和导出
  • Web 和 PDF 搜索、工具调用以及沙箱或制品代码执行
  • 使用相同提示词进行模型比较
  • 多 GPU 和 GGUF 硬件放置控制
  • 训练损失和 GPU 使用率可观测性
  • 连接 OpenAI、Anthropic、vLLM 和 Ollama

要求、安装和快速入门

在 macOS、Linux 或 WSL 上安装 Unsloth Studio,可运行 `curl -fsSL https://unsloth.ai/install.sh | sh`。在 Windows PowerShell 上,可运行 `irm https://unsloth.ai/install.ps1 | iex`。同时标识了 Docker 镜像 `unsloth/unsloth`。对于 Linux 或 WSL 上的 Unsloth Core,安装 uv,创建并激活 Python 3.13 环境,然后运行 `uv pip install unsloth --torch-backend=auto`。Windows Core 设置同样使用 Python 3.13 和 uv。AMD 和 Intel 安装需要参考平台特定文档。

用法

使用 `unsloth studio -p 8888` 启动 Studio;默认绑定至 localhost。对于本地智能体,启动 Studio、加载模型、打开项目目录,然后运行受支持的命令,例如 `unsloth start claude` 或 `unsloth start codex`。仓库还记录了用于子智能体的 `unsloth start claude --as-subagent --model unsloth/model-GGUF:quant`。使用 `unsloth studio --secure` 通过 Cloudflare HTTPS 隧道访问,或使用 `-H 0.0.0.0` 进行原始网络绑定,但需配置防火墙。

模型兼容性与使用场景

提供的记录列出了 Kimi、Gemma、Qwen、DeepSeek、GLM、gpt-oss、Llama、Mistral、Phi、嵌入、视觉和文本转语音模型系列。Studio 可以搜索、下载和运行 GGUF 文件、LoRA 适配器和 safetensors。README 声称支持训练和强化学习的模型超过 500 个。兼容性因模型格式、操作系统、硬件后端和工作流而异;完整兼容性矩阵可通过项目文档获取,而非所提供的元数据。

许可证与风险说明

仓库元数据声明 Apache-2.0 SPDX 许可证。依赖项、模型权重、数据集和第三方服务的详细许可证条款未在仓库元数据中说明,且可能与仓库自身许可证不同。

发布与维护

提供的 README 重点介绍了 AMD 训练支持、扩展的 GGUF 硬件控制、本地智能体连接、MCP 控制端点、推理可靠性工作、新模型集成、嵌入微调、更长上下文强化学习、Triton 内核、打包改进,以及 FP8 或视觉强化学习。正式版本号和发布日期未在所提供的仓库记录中说明。

Firecrawl

firecrawl/firecrawl

★ 161.1KTypeScript

LangChain

langchain-ai/langchain

★ 143.6KPython

RAGFlow

infiniflow/ragflow

★ 86.7KGo