RAG 与知识系统
EvalScope
modelscope/evalscope
一个轻量且可定制的大模型（LLM、VLM、AIGC）评测与性能基准测试框架。
★ 3.2K⑂ 440Python
ToolAI.io · GitHub 频道
GitHub 上的新 AI 项目
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
公开仓库数据
项目索引
智能体与多智能体
TruLens：面向 LLM 实验与 AI 智能体的评估与追踪工具
truera/trulens
TruLens 是一个开源的、原生支持 OpenTelemetry 的评估与追踪库，适用于 LLM 应用和 AI 智能体。它帮助开发者追踪每一步骤，使用 LLM 作为评判者对性能进行打分，并比较不同版本的应用。
★ 3.5K⑂ 319Python
智能体与多智能体
BISHENG
dataelement/bisheng
BISHENG 是一个开源的 LLM 应用 DevOps 平台，面向下一代企业级 AI 应用，提供 GenAI 工作流编排、RAG、Agent 管理以及企业级系统管控等全面功能。
★ 11.8K⑂ 1.9KPython
智能体与多智能体
promptfoo
promptfoo/promptfoo
一个用于评估、测试和红队测试 LLM 应用、RAG 和 Agent 的开源 CLI 和库。它支持通过声明式配置进行模型并行对比，并支持 CI/CD 集成和漏洞扫描。
★ 23.9K⑂ 2.2KTypeScript
智能体与多智能体
Opik：开源 LLM 可观测性、评估与智能体追踪平台
comet-ml/opik
Opik 是一个采用 Apache-2.0 许可证的平台，用于追踪、评估、调试和监控 LLM 应用、RAG 系统及多步骤智能体工作流。它支持自托管、Comet.com 托管选项、客户端 SDK、REST API、自动化评估、提示词实验和生产仪表板。
★ 21.1K⑂ 1.7KPython
智能体与多智能体
Giskard OSS：用于 AI 智能体的评估、红队测试与测试生成
giskard-ai/giskard-oss
一个用于评估和测试基于 LLM 及智能体系统的开源 Python 库，支持多轮评估、LLM-as-judge 检查和自动化漏洞扫描。
★ 5.7K⑂ 513Python
智能体与多智能体
LangWatch
langwatch/langwatch
一个开放核心平台，用于在发布前及生产环境中评估、测试、追踪和监控 LLM 应用与 AI 智能体。
★ 3.5K⑂ 345TypeScript
评估、可观测性与安全
garak：LLM vulnerability scanning
NVIDIA/garak
ToolAI 对 NVIDIA/garak 的客观项目介绍。the LLM vulnerability scanner
★ 8.8K⑂ 1.2KPython
评估、可观测性与安全
evals：Model evaluation framework
openai/evals
ToolAI 对 openai/evals 的客观项目介绍。Evals is a framework for evaluating LLMs and LLM systems, and an open-source registry of benchmarks
★ 19.2K⑂ 3.1KPython