Langtrace 集成

Langtrace 概览

Langtrace 是一款开源的外部工具，可帮助你为大语言模型（LLMs）、LLM 框架和向量数据库建立可观测性和评估。虽然它并未直接内置于 CrewAI 中，但 Langtrace 可以与 CrewAI 一起使用，以深入了解 CrewAI 代理的成本、延迟和性能。 这种集成可让你记录超参数、监控性能回归，并建立持续改进代理的流程。

设置说明

1. 注册 Langtrace

   访问 https://langtrace.ai/signup 进行注册。

2. 创建项目

   将项目类型设置为 CrewAI，然后生成一个 API key。

3. 在 CrewAI 项目中安装 Langtrace

   使用以下命令：

   pip install langtrace-python-sdk

4. 导入 Langtrace

   在脚本开头、任何 CrewAI 导入之前，导入并初始化 Langtrace：

   from langtrace_python_sdk import langtrace
   langtrace.init(api_key='<LANGTRACE_API_KEY>')
   
   # 现在导入 CrewAI 模块
   from crewai import Agent, Task, Crew

功能及其在 CrewAI 中的应用

1. LLM Token 与成本追踪

   • 监控每次 CrewAI 代理交互的 token 使用量和相关成本。

2. 执行步骤的追踪图

   • 可视化 CrewAI 任务的执行流，包括延迟和日志。
   • 这对于识别代理工作流中的瓶颈非常有用。

3. 通过人工标注进行数据集整理

   • 从 CrewAI 任务输出创建数据集，用于未来训练或评估。

4. 提示词版本管理

   • 跟踪 CrewAI 代理中使用的不同提示词版本。
   • 这对 A/B 测试和优化代理性能非常有用。

5. 带模型对比的提示词 Playground

   • 在部署前测试并比较不同提示词和模型在 CrewAI 代理中的表现。

6. 测试与评估

   • 为你的 CrewAI 代理和任务设置自动化测试。