LLM 与基础模型

Bionic GPT

bionic-gpt/bionic-gpt

Bionic 是一个基于 Rust 的本地部署 ChatGPT 替代方案,面向私有生成式 AI 部署。它提供熟悉的聊天界面、本地或远程模型访问、团队控制、检索增强助手、数据集成、可观测性以及面向 Kubernetes 的扩展能力。

★ 2.4K星级
⑂ 239Fork 数
5未解决的问题
Rust语言
NOASSERTION许可证
Q@project.QualityScore编辑评分

概览

该项目可在笔记本电脑上运行以进行本地评估,也可在 Kubernetes 上部署以支持更大规模的使用场景。其文档化架构包括 Nginx 路由器、OAuth2 代理、Rust Web 服务器、RAG 与文档处理引擎、带 PgVector 的 PostgreSQL、兼容 S3 的对象存储、外部身份提供商,以及一个或多个 LLM 提供商。该仓库有 2,346 个星标、239 个分叉、5 个开放议题,且未归档。

主要功能

  • 受 ChatGPT 启发的界面,提供聊天记录和可自定义主题
  • 本地托管或数据中心部署
  • 由智能体式检索增强生成管道支持的 AI 助手
  • 支持 HTML、PDF、CSV、PNG 和 PPTX 等文档
  • 可通过 UI 配置嵌入和分块
  • 团队管理、SSO 集成、RBAC 和团队级数据隔离
  • 支持本地与远程 LLM、多个模型切换和并行对话
  • 面向助手的兼容 OpenAI API,支持 API 密钥与限流控制
  • 基于 Airbyte 的批量与实时数据集成
  • 手动上传、数据集和 OCR 处理
  • 兼容 Prometheus 的可观测性及 Grafana 仪表板支持
  • 通过模型反向代理实施令牌限制
  • 批量与流式护栏
  • 面向 Kubernetes 的部署与扩展

要求、安装和快速入门

如需本地评估,README 指引用户使用 Docker Compose 安装指南:https://bionic-gpt.com/docs/running-locally/docker-compose/。对于生产环境,README 指向:https://bionic-gpt.com/docs/。请将 APP_BASE_URL 设置为 Bionic 服务器的公开 URL,以构建 OAuth2 回调。确切安装命令未在所提供的仓库记录中说明。

用法

部署后,连接服务至身份提供商和一个或多个受支持的 LLM 提供商,然后通过 Web 界面进行聊天、创建助手、上传或集成数据集、配置嵌入与分块、与团队成员共享助手,并在可用模型之间切换。助手也可通过兼容 OpenAI 的 API 提供服务。完整的快速开始命令序列未在仓库元数据中说明。

模型兼容性与使用场景

该架构明确将 Ollama、OpenAI 和 Anthropic 列为示例 LLM 提供商。README 还声称支持在本地或数据中心运行的开源模型、多个已安装模型、模型切换以及使用多个模型的对话。具体模型名称、版本、嵌入模型和兼容性限制未在仓库元数据中说明。

许可证与风险说明

仓库元数据显示 SPDX 值为 NOASSERTION,且未提供许可证 URL。README 同时展示 MIT 和 Apache 许可证徽章,因此无法根据所提供记录确定适用许可证。使用或再分发前应检查仓库中的许可证文件。

发布与维护

所提供记录中未包含发布或版本信息。该仓库创建于 2023-07-07,使用 main 作为默认分支,未归档,且所提供元数据显示其最新推送时间为 2026-08-03。

ClearML

clearml/clearml

★ 6.8KPython