Integração Braintrust
Este guia demonstra como integrar o Braintrust com CrewAI usando OpenTelemetry para rastreamento e avaliação abrangentes. Ao final deste guia, você poderá rastrear seus agentes CrewAI, monitorar seu desempenho e avaliar suas saídas usando a poderosa plataforma de observabilidade do Braintrust.O que é Braintrust? Braintrust é uma plataforma de avaliação e observabilidade de IA que fornece rastreamento, avaliação e monitoramento abrangentes para aplicações de IA com rastreamento de experimentos e análises de desempenho integrados.
Começar
Vamos percorrer um exemplo simples de uso do CrewAI e integração com Braintrust via OpenTelemetry para observabilidade e avaliação abrangentes.Passo 1: Instalar Dependências
Passo 2: Configurar Variáveis de Ambiente
Configure as chaves de API do Braintrust e configure o OpenTelemetry para enviar rastreamentos para o Braintrust. Você precisará de uma chave de API do Braintrust e sua chave de API do OpenAI.Passo 3: Inicializar OpenTelemetry com Braintrust
Inicialize a instrumentação OpenTelemetry do Braintrust para começar a capturar rastreamentos e enviá-los para o Braintrust.Passo 4: Criar uma Aplicação CrewAI
Vamos criar uma aplicação CrewAI onde dois agentes colaboram para pesquisar e escrever um post de blog sobre avanços em IA, com rastreamento abrangente habilitado.Passo 5: Visualizar Rastreamentos no Braintrust
Após executar sua crew, você pode visualizar rastreamentos abrangentes no Braintrust através de diferentes perspectivas:- Rastreamento(Trace)
- Linha do Tempo(Timeline)
- Thread

Passo 6: Avaliar via SDK (Experimentos)
Você também pode executar avaliações usando o Eval SDK do Braintrust. Isso é útil para comparar versões ou pontuar saídas offline. Abaixo está um exemplo em Python usando a classeEval
com a crew que criamos acima:
Principais Recursos da Integração Braintrust
- Rastreamento Abrangente: Rastreie todas as interações de agentes, uso de ferramentas e chamadas LLM
- Monitoramento de Desempenho: Monitore tempos de execução, uso de tokens e taxas de sucesso
- Rastreamento de Experimentos: Compare diferentes configurações de crew e modelos
- Avaliação Automatizada: Configure métricas de avaliação personalizadas para saídas de crew
- Rastreamento de Erros: Monitore e depure falhas em suas execuções de crew
- Análise de Custos: Rastreie uso de tokens e custos associados
Informações de Compatibilidade de Versão
- Python 3.8+
- CrewAI >= 0.86.0
- Braintrust >= 0.1.0
- OpenTelemetry SDK >= 1.31.0
Referências
- Documentação Braintrust - Visão geral da plataforma Braintrust
- Integração CrewAI Braintrust - Guia oficial de integração CrewAI
- Eval SDK Braintrust - Execute experimentos via SDK
- Documentação CrewAI - Visão geral do framework CrewAI
- Documentação OpenTelemetry - Guia OpenTelemetry
- GitHub Braintrust - Código fonte do SDK Braintrust