项目截图
概览
SBproxy 是一款旨在管理 API、MCP、代理和 AI 模型流量的 AI 网关。它基于 Cloudflare 的 Pingora 框架构建,作为反向代理和负载均衡器运行在客户端应用程序与 LLM 提供商或自托管模型之间。它通过兼容 OpenAI 的 API 统一了对 OpenAI、Anthropic、Gemini、Bedrock 及其他 60 多家提供商的访问,同时允许用户使用 vLLM 或 llama.cpp 在自己的 GPU 上本地提供模型服务。该网关包含企业级功能,例如 API 密钥管理、预算控制、防护栏、语义缓存以及基于 OWASP 核心规则集的 Web 应用程序防火墙 (WAF)。
主要功能
- 兼容 60 多家 LLM 提供商的 OpenAI 兼容 API
- 通过 vLLM 和 llama.cpp 进行本地模型托管
- 用于工具暴露和联合的 MCP 网关
- API 密钥、预算和防护栏管理
- 语义缓存
- 使用 OWASP 核心规则集的 Web 应用程序防火墙 (WAF)
- 速率限制和负载均衡
- 基于 Pingora 构建的高性能代理
- 通过 wasmtime 支持 WebAssembly (Wasm) 脚本
- Kubernetes operator
要求、安装和快速入门
通过 Homebrew (macOS):`brew tap soapbucket/tap && brew install sbproxy`
通过 Docker:`docker pull soapbucket/sbproxy:latest`
从源代码构建:`make build-release`
用法
模型兼容性与使用场景
通过兼容 OpenAI 的 API 兼容 OpenAI、Anthropic、Gemini、Bedrock 及其他 60 多家提供商。支持使用 vLLM 和 llama.cpp 推理引擎提供本地模型服务。
许可证与风险说明
Apache License 2.0
Editorial verification 2026-08-02: repository URL, owner, description, license and repository statistics were reviewed. License metadata: Apache-2.0. README was fetched for the channel draft; re-check repository dependencies, releases and model terms before production use.
发布与维护
Not stated in the repository metadata