Pular para o conteúdo principal

Integração Braintrust

Este guia demonstra como integrar o Braintrust com CrewAI usando OpenTelemetry para rastreamento e avaliação abrangentes. Ao final deste guia, você poderá rastrear seus agentes CrewAI, monitorar seu desempenho e avaliar suas saídas usando a poderosa plataforma de observabilidade do Braintrust.
O que é Braintrust? Braintrust é uma plataforma de avaliação e observabilidade de IA que fornece rastreamento, avaliação e monitoramento abrangentes para aplicações de IA com rastreamento de experimentos e análises de desempenho integrados.

Começar

Vamos percorrer um exemplo simples de uso do CrewAI e integração com Braintrust via OpenTelemetry para observabilidade e avaliação abrangentes.

Passo 1: Instalar Dependências

Passo 2: Configurar Variáveis de Ambiente

Configure as chaves de API do Braintrust e configure o OpenTelemetry para enviar rastreamentos para o Braintrust. Você precisará de uma chave de API do Braintrust e sua chave de API do OpenAI.

Passo 3: Inicializar OpenTelemetry com Braintrust

Inicialize a instrumentação OpenTelemetry do Braintrust para começar a capturar rastreamentos e enviá-los para o Braintrust.

Passo 4: Criar uma Aplicação CrewAI

Vamos criar uma aplicação CrewAI onde dois agentes colaboram para pesquisar e escrever um post de blog sobre avanços em IA, com rastreamento abrangente habilitado.

Passo 5: Visualizar Rastreamentos no Braintrust

Após executar sua crew, você pode visualizar rastreamentos abrangentes no Braintrust através de diferentes perspectivas:
Visualização de Rastreamento Braintrust

Passo 6: Avaliar via SDK (Experimentos)

Você também pode executar avaliações usando o Eval SDK do Braintrust. Isso é útil para comparar versões ou pontuar saídas offline. Abaixo está um exemplo em Python usando a classe Eval com a crew que criamos acima:
Configure sua chave de API e execute:
Veja o guia do Eval SDK do Braintrust para mais detalhes.

Principais Recursos da Integração Braintrust

  • Rastreamento Abrangente: Rastreie todas as interações de agentes, uso de ferramentas e chamadas LLM
  • Monitoramento de Desempenho: Monitore tempos de execução, uso de tokens e taxas de sucesso
  • Rastreamento de Experimentos: Compare diferentes configurações de crew e modelos
  • Avaliação Automatizada: Configure métricas de avaliação personalizadas para saídas de crew
  • Rastreamento de Erros: Monitore e depure falhas em suas execuções de crew
  • Análise de Custos: Rastreie uso de tokens e custos associados

Informações de Compatibilidade de Versão

  • Python 3.8+
  • CrewAI >= 0.86.0
  • Braintrust >= 0.1.0
  • OpenTelemetry SDK >= 1.31.0

Referências