Pular para o conteúdo principal

Integrar o Datadog com a CrewAI

Este guia demonstrará como integrar o Datadog com o CrewAI usando a instrumentação automática do Datadog. Ao final deste guia, você poderá enviar rastreamentos do LLM Observability para o Datadog e visualizar as execuções do agente CrewAI no Agentic Execution View do Datadog LLM Observability.

O que é o Datadog LLM Observability?

O Datadog LLM Observability ajuda os engenheiros de IA, cientistas de dados e desenvolvedores de aplicativos a desenvolver, avaliar e monitorar rapidamente os aplicativos LLM. Melhore com confiança a qualidade dos resultados, o desempenho, os custos e o risco geral com experimentos estruturados, rastreamento de ponta a ponta em agentes de IA e avaliações.

Primeiros passos

Instalar dependências

Definir variáveis de ambiente

Se você não tiver uma chave de API da Datadog, poderá criar uma conta e obter sua chave de API. Você também precisará especificar um nome de aplicativo de ML nas seguintes variáveis de ambiente. Um aplicativo de ML é um agrupamento de rastros de observabilidade do LLM associados a um aplicativo específico baseado em LLM. Consulte ML Application Naming Guidelines para obter mais informações sobre as limitações dos nomes de aplicativos do ML.
Além disso, configure todas as chaves de API do provedor LLM

Criar um aplicativo agente CrewAI

Executar o aplicativo com a instrumentação automática do Datadog

Com as variáveis de ambiente definidas, agora você pode executar o aplicativo com a instrumentação automática do Datadog.

Visualizar os rastros no Datadog

Depois de executar o aplicativo, você pode visualizar os traços na Datadog LLM Observability’s Traces View, selecionando o nome do aplicativo de ML que você escolheu no menu suspenso superior esquerdo. Ao clicar em um rastreamento, você verá os detalhes do rastreamento, incluindo o total de tokens usados, o número de chamadas LLM, os modelos usados e o custo estimado. Clicar em um intervalo específico reduzirá esses detalhes e mostrará a entrada, a saída e os metadados relacionados.
Visualização do rastreamento de observabilidade do Datadog LLM
Além disso, você pode visualizar a visualização do gráfico de execução do rastreamento, que mostra o controle e o fluxo de dados do rastreamento, que será dimensionado com agentes maiores para mostrar transferências e relacionamentos entre chamadas LLM, chamadas de ferramentas e interações de agentes.
Visualização do fluxo de execução do agente de observabilidade do Datadog LLM

Referências