项目截图
概览
TruLens 帮助开发者识别 AI 智能体在何处失败，以及在不牺牲质量的前提下可以在哪里降低成本。通过使用原生支持 OpenTelemetry 的追踪功能，它能够捕获函数调用、LLM 生成、检索和工具调用的结构化跨度（spans）。这使得追踪数据可以导出至任何兼容 OTLP 的后端。该库为智能体系统提供了专门构建的评估器，并支持内联和批量评估模式，允许团队在应用运行时或基于预收集的数据集进行评估。
主要功能
- 基于 OpenTelemetry 的追踪，可移植至现有的可观测性后端
- 七个专门构建的智能体评估器（LogicalConsistency, ExecutionEfficiency, PlanAdherence, PlanQuality, ToolSelection, ToolCalling, ToolQuality）
- 通过 Run API 支持内联和批量评估模式
- 支持模型上下文协议（MCP）以对工具调用进行插桩
- 提供 Selector API 以在评估期间定位特定的跨度属性
- 提供排行榜，用于按分数、延迟和成本比较应用版本
要求、安装和快速入门
通过 pip 安装核心包：`pip install trulens`。特定的 LLM 提供商集成可与核心包一起安装（例如：`pip install trulens trulens-providers-openai` 用于 OpenAI，`pip install trulens trulens-providers-litellm` 用于 LiteLLM，`pip install trulens trulens-providers-google` 用于 Google Gemini，`pip install trulens trulens-providers-bedrock` 用于 AWS Bedrock，`pip install trulens trulens-providers-cortex` 用于 Snowflake Cortex，`pip install trulens trulens-providers-huggingface` 用于 HuggingFace，`pip install trulens trulens-providers-langchain` 用于 LangChain 模型）。应用框架集成也可用（例如：`pip install trulens trulens-apps-langchain` 用于 LangChain/LangGraph，`pip install trulens trulens-apps-llamaindex` 用于 LlamaIndex）。
用法
使用来自 `trulens.core.otel.instrument` 的 `@instrument` 装饰器对类方法进行插桩，指定跨度类型和属性。对于内联评估，在查询应用时将 `tru_recorder` 作为上下文管理器使用。对于批量评估，配置包含数据集详细信息的 `RunConfig`，通过 `tru_app.add_run()` 将运行添加到应用中，启动运行并计算相关性和 groundedness 等指标。
模型兼容性与使用场景
通过专用包支持 LLM 提供商：OpenAI/Azure OpenAI、LiteLLM（Anthropic、Cohere、Mistral 等）、Google Gemini、AWS Bedrock、Snowflake Cortex、HuggingFace 和 LangChain 模型。
许可证与风险说明
MIT License.
Editorial verification 2026-08-09: repository URL, owner, description, license and repository statistics were reviewed. License metadata: MIT. README was fetched for the channel draft; re-check repository dependencies, releases and model terms before production use.
发布与维护
Not stated in the repository metadata