Integração Datadog

Integrar o Datadog com a CrewAI

Este guia demonstrará como integrar o Datadog com o CrewAI usando a instrumentação automática do Datadog. Ao final deste guia, você poderá enviar rastreamentos do LLM Observability para o Datadog e visualizar as execuções do agente CrewAI no Agentic Execution View do Datadog LLM Observability.

O que é o Datadog LLM Observability?

O Datadog LLM Observability ajuda os engenheiros de IA, cientistas de dados e desenvolvedores de aplicativos a desenvolver, avaliar e monitorar rapidamente os aplicativos LLM. Melhore com confiança a qualidade dos resultados, o desempenho, os custos e o risco geral com experimentos estruturados, rastreamento de ponta a ponta em agentes de IA e avaliações.

Primeiros passos

Instalar dependências

pip install ddtrace crewai crewai-tools

Definir variáveis de ambiente

Se você não tiver uma chave de API da Datadog, poderá criar uma conta e obter sua chave de API.

Você também precisará especificar um nome de aplicativo de ML nas seguintes variáveis de ambiente. Um aplicativo de ML é um agrupamento de rastros de observabilidade do LLM associados a um aplicativo específico baseado em LLM. Consulte ML Application Naming Guidelines para obter mais informações sobre as limitações dos nomes de aplicativos do ML.

export DD_API_KEY=<SUA_API_KEY>
export DD_SITE=<Seu_DD_SITE>
export DD_LLMOBS_ENABLED=true
export DD_LLMOBS_ML_APP=<YOUR_ML_APP_NAME>
export DD_LLMOBS_AGENTLESS_ENABLED=true
export DD_APM_TRACING_ENABLED=false

Além disso, configure todas as chaves de API do provedor LLM

export OPENAI_API_KEY=<SUA_OPENAI_API_KEY>
export ANTHROPIC_API_KEY=<YOUR_ANTHROPIC_API_KEY>
export GEMINI_API_KEY=<YOUR_GEMINI_API_KEY>
...

Criar um aplicativo agente CrewAI

crewai_agent.py

from crewai import Agent, Task, Crew

from crewai_tools import (
    WebsiteSearchTool
)

web_rag_tool = WebsiteSearchTool()

writer = Agent(
    role="Writer",
    goal="Você torna a matemática envolvente e compreensível para crianças pequenas por meio da poesia",
    backstory="Você é um especialista em escrever haikus, mas não sabe nada de matemática",
    tools=[web_rag_tool],
)

task = Task(
    description=("O que é {multiplicação}?"),
    expected_output=("Componha um haicai que inclua a resposta."),
    agent=writer
)

crew = Crew(
    agents=[writer],
    tasks=[task],
    share_crew=False
)

output = crew.kickoff(dict(multiplicação="2 * 2"))

Executar o aplicativo com a instrumentação automática do Datadog

Com as variáveis de ambiente definidas, agora você pode executar o aplicativo com a instrumentação automática do Datadog.

ddtrace-run python crewai_agent.py

Visualizar os rastros no Datadog

Depois de executar o aplicativo, você pode visualizar os traços na Datadog LLM Observability’s Traces View, selecionando o nome do aplicativo de ML que você escolheu no menu suspenso superior esquerdo.

Ao clicar em um rastreamento, você verá os detalhes do rastreamento, incluindo o total de tokens usados, o número de chamadas LLM, os modelos usados e o custo estimado. Clicar em um intervalo específico reduzirá esses detalhes e mostrará a entrada, a saída e os metadados relacionados.

Além disso, você pode visualizar a visualização do gráfico de execução do rastreamento, que mostra o controle e o fluxo de dados do rastreamento, que será dimensionado com agentes maiores para mostrar transferências e relacionamentos entre chamadas LLM, chamadas de ferramentas e interações de agentes.

Referências

• Datadog LLM Observability
• Datadog LLM Observability CrewAI Auto-Instrumentation