MCP 与工具调用

SBproxy

soapbucket/sbproxy

一款使用 Rust 编写的开源、自托管企业级 AI 网关和 LLM 代理,提供兼容 OpenAI 的 API,支持 60 多家提供商及本地模型托管、MCP 工具联邦与强大的流量治理。

★ 49星级
⑂ 1Fork 数
1未解决的问题
Rust语言
Apache-2.0许可证
Q@project.QualityScore编辑评分

项目截图

SBproxy 的截图 SBproxy 的截图

概览

SBproxy 是一款旨在管理 API、MCP、代理和 AI 模型流量的 AI 网关。它基于 Cloudflare 的 Pingora 框架构建,作为反向代理和负载均衡器运行在客户端应用程序与 LLM 提供商或自托管模型之间。它通过兼容 OpenAI 的 API 统一了对 OpenAI、Anthropic、Gemini、Bedrock 及其他 60 多家提供商的访问,同时允许用户使用 vLLM 或 llama.cpp 在自己的 GPU 上本地提供模型服务。该网关包含企业级功能,例如 API 密钥管理、预算控制、防护栏、语义缓存以及基于 OWASP 核心规则集的 Web 应用程序防火墙 (WAF)。

主要功能

  • 兼容 60 多家 LLM 提供商的 OpenAI 兼容 API
  • 通过 vLLM 和 llama.cpp 进行本地模型托管
  • 用于工具暴露和联合的 MCP 网关
  • API 密钥、预算和防护栏管理
  • 语义缓存
  • 使用 OWASP 核心规则集的 Web 应用程序防火墙 (WAF)
  • 速率限制和负载均衡
  • 基于 Pingora 构建的高性能代理
  • 通过 wasmtime 支持 WebAssembly (Wasm) 脚本
  • Kubernetes operator

要求、安装和快速入门

通过 cURL (Linux/macOS):`curl -fsSL https://download.sbproxy.dev | sh`
通过 Homebrew (macOS):`brew tap soapbucket/tap && brew install sbproxy`
通过 Docker:`docker pull soapbucket/sbproxy:latest`
从源代码构建:`make build-release`

用法

安装后,您可以通过克隆仓库(`git clone https://github.com/soapbucket/sbproxy`)并按照入门指南运行一个免凭证的网关示例。要通过 Docker 运行,请挂载您的配置文件并执行:`docker run --rm -p 8080:8080 -v "$PWD/sb.yml:/etc/sbproxy/sb.yml:ro" soapbucket/sbproxy:latest serve -f /etc/sbproxy/sb.yml`。

模型兼容性与使用场景

通过兼容 OpenAI 的 API 兼容 OpenAI、Anthropic、Gemini、Bedrock 及其他 60 多家提供商。支持使用 vLLM 和 llama.cpp 推理引擎提供本地模型服务。

许可证与风险说明

Apache License 2.0

Editorial verification 2026-08-02: repository URL, owner, description, license and repository statistics were reviewed. License metadata: Apache-2.0. README was fetched for the channel draft; re-check repository dependencies, releases and model terms before production use.

发布与维护

Not stated in the repository metadata

MemPalace

mempalace/mempalace

★ 58KPython

QwenPaw

agentscope-ai/qwenpaw

★ 33.9KPython

Composio

composiohq/composio

★ 29.5KTypeScript