Pular para o conteúdo principal

Visão Geral do Weave

Weights & Biases (W&B) Weave é um framework para rastreamento, experimentação, avaliação, implementação e aprimoramento de aplicações baseadas em LLM. Visão geral do uso do tracing do W&B Weave com CrewAI O Weave oferece suporte completo para todas as etapas do desenvolvimento da sua aplicação CrewAI:
  • Rastreamento e Monitoramento: Acompanhe automaticamente chamadas LLM e a lógica da aplicação para depuração e análise de sistemas em produção
  • Iteração Sistemática: Aperfeiçoe e itere em prompts, conjuntos de dados e modelos
  • Avaliação: Utilize avaliadores personalizados ou pré-construídos para avaliar e aprimorar sistematicamente o desempenho dos agentes
  • Guardrails: Proteja seus agentes com salvaguardas pré e pós-execução para moderação de conteúdo e segurança de prompts
O Weave captura automaticamente rastreamentos (traces) de suas aplicações CrewAI, permitindo monitorar e analisar o desempenho, as interações e o fluxo de execução dos seus agentes. Isso te ajuda a construir melhores conjuntos de dados para avaliação e a otimizar os fluxos de trabalho dos agentes.

Instruções de Configuração

1

Instale os pacotes necessários

2

Crie uma conta no W&B

Cadastre-se em uma conta Weights & Biases caso ainda não tenha uma. Você precisará dela para visualizar rastreamentos e métricas.
3

Inicialize o Weave na sua aplicação

Adicione o seguinte código à sua aplicação:
Após a inicialização, o Weave fornecerá uma URL onde você poderá visualizar seus rastreamentos e métricas.
4

Crie seus Crews/Flows

5

Visualize rastreamentos no Weave

Após executar sua aplicação CrewAI, acesse a URL do Weave fornecida durante a inicialização para visualizar:
  • Chamadas LLM e seus metadados
  • Interações dos agentes e fluxo de execução das tarefas
  • Métricas de desempenho como latência e uso de tokens
  • Quaisquer erros ou problemas ocorridos durante a execução
Exemplo de rastreamento do Weave com CrewAI

Funcionalidades

  • O Weave captura automaticamente todas as operações do CrewAI: interações dos agentes e execuções das tarefas; chamadas LLM com metadados e uso de tokens; uso de ferramentas e resultados.
  • A integração suporta todos os métodos de execução do CrewAI: kickoff(), kickoff_for_each(), kickoff_async() e kickoff_for_each_async().
  • Rastreamento automático de todas as crewAI-tools.
  • Suporte ao recurso flow com patching por decorador (@start, @listen, @router, @or_, @and_).
  • Rastreie guardrails personalizados passados para o Task do CrewAI com @weave.op().
Para informações detalhadas sobre o que é suportado, acesse a documentação do Weave CrewAI.

Recursos