Berri.ai

主要功能与特点：

• 模型访问：支持跨 100 多个 LLM 的访问，包括 Azure Access、Gemini Access、Bedrock Access、OpenAI Access、Anthropic Access，全部采用 OpenAI 格式。
• 支出跟踪：准确按团队使用量收费，支持将成本归因到 key/user/team/org；自动跟踪 OpenAI/Azure/Bedrock/GCP 等的支出；支持基于标签的支出跟踪；支持将支出记录到 s3/gcs 等；支持 HF 模型的 Prompt 格式化。
• 预算与速率限制：提供 Budgets & Rate Limits 功能。
• LLM 回退：提供 LLM Fallbacks 以确保服务可用性。
• 其他特性：Batches API、Guardrails、LLM Observability、Prompt Management、S3 Logging、Pass-Through Endpoints、Virtual Keys、Teams、Load Balancing、RPM/TPM limits。

目标用户：平台团队、需要为大量开发人员和项目提供 LLM 访问权限的企业。

核心优势：

• 简化跨提供商的输入和输出转换，节省数月的工作量。
• 在新模型发布后通常一天内即可向用户提供最新 LLM 模型，无需每次进行数小时的工作。
• 标准化所有模型的日志记录、OpenAI API 和身份验证，显著降低运营复杂性。
• 数据规模：超过 10M+ docker pulls，1B+ 已服务请求，80% uptime，425+ 贡献者。

典型用例：Netflix 使用 LiteLLM 为开发人员提供 Day 0 LLM 访问权限；Lemonade 使用 LiteLLM 和 Langfuse 简化管理多个 LLM 模型的复杂性；RocketMoney 使用 LiteLLM 代理标准化所有模型的日志、API 和身份验证，以快速适应不断变化的需求并迅速采用新模型。

收费模式与价格信息：

• Open Source：$0 免费。包含 100+ LLM 提供商集成、Langfuse/Arize Phoenix/Langsmith/OTEL 日志记录、虚拟密钥/预算/团队、负载平衡/RPM/TPM 限制、LLM Guardrails。
• Enterprise：联系获取报价，支持云或自托管。包含 OSS 中的所有内容、企业支持 + 自定义 SLA、JWT Auth、SSO、Audit Logs 以及所有企业功能。