概览
该项目可作为 HTTP 网关运行，可通过 Go SDK 嵌入，也可作为受支持提供商 SDK 的替换端点。内置 Web 界面支持配置、监控和分析。仓库同时描述了开源功能及额外的企业部署功能。
主要功能
- 面向 23+ 家提供商的统一 OpenAI 兼容接口
- 自动重试、提供商或模型故障转移及负载均衡
- 支持文本、图像、音频和流式请求
- 基于相似度的语义响应缓存
- 用于外部工具访问的 MCP 网关能力
- 虚拟密钥、用量跟踪、预算、速率限制和细粒度访问控制
- Prometheus 指标、分布式追踪、日志、监控和分析
- Web、API 驱动和基于文件的配置
- 可扩展插件架构
- HTTP 网关、Go SDK，以及面向受支持 SDK 的替换端点
- 企业选项包括集群、自适应负载均衡、护栏、私有网络、OIDC 配置、自定义控制和治理
要求、安装和快速入门
NPX 快速启动：`npx -y @maximhq/bifrost`。基础 Docker 启动：`docker run -p 8080:8080 maximhq/bifrost`。使用持久化数据的 Docker 启动：`docker run -p 8080:8080 -v $(pwd)/data:/app/data maximhq/bifrost`。Go SDK 安装：`go get github.com/maximhq/bifrost/core`。
用法
启动网关后，打开 `http://localhost:8080`，通过 Web 界面配置提供商。可使用 `curl -X POST http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"openai/gpt-4o-mini","messages":[{"role":"user","content":"Hello, Bifrost!"}]}'` 发送聊天请求。现有的 OpenAI、Anthropic 或 Google GenAI 集成也可将其 base URL 或 API 端点指向已记录的本地 Bifrost 端点。
模型兼容性与使用场景
README 表示支持来自 23+ 家提供商的 1,000+ 个模型。列出的提供商包括 OpenAI、Anthropic、AWS Bedrock、Google Vertex、Azure、Cerebras、Cohere、Mistral、Ollama 和 Groq。还记录了与 OpenAI、Anthropic、AWS Bedrock、Google GenAI、LiteLLM 和 LangChain SDK 的集成。完整模型列表未包含在所提供的仓库记录中。
许可证与风险说明
仓库元数据将许可证标识为 Apache-2.0，README 表示项目采用 Apache 2.0 License。重新分发或部署前，请查看仓库中的 LICENSE 文件。
发布与维护
仓库元数据中未说明。