​
Visão Geral do Langtrace

O Langtrace é uma ferramenta externa e open-source que auxilia na configuração de observabilidade e avaliações para Modelos de Linguagem de Grande Porte (LLMs), frameworks de LLM e Bancos de Dados Vetoriais. Apesar de não ser integrado diretamente ao CrewAI, o Langtrace pode ser utilizado em conjunto com o CrewAI para fornecer uma visibilidade aprofundada sobre o custo, latência e desempenho dos seus Agentes CrewAI. Essa integração permite o registro de hiperparâmetros, o monitoramento de regressões de desempenho e o estabelecimento de um processo de melhoria contínua dos seus Agentes. Visão geral de uma seleção de execuções de sessões de agentes Visão geral dos traces de agentes Visão detalhada dos traces de LLM

​
Instruções de Configuração

1

Crie uma conta no Langtrace

Cadastre-se acessando https://langtrace.ai/signup.
2

Crie um projeto

Defina o tipo do projeto como CrewAI e gere uma chave de API.
3

Instale o Langtrace no seu projeto CrewAI

Use o seguinte comando:
pip install langtrace-python-sdk
4

Importe o Langtrace

Importe e inicialize o Langtrace no início do seu script, antes de quaisquer imports do CrewAI:
from langtrace_python_sdk import langtrace
langtrace.init(api_key='<SUA_CHAVE_LANGTRACE>')

# Agora importe os módulos do CrewAI
from crewai import Agent, Task, Crew

​
Funcionalidades e Sua Aplicação no CrewAI

  1. Rastreamento de Token e Custo do LLM
    • Monitore o uso de tokens e os custos associados para cada interação dos agentes CrewAI.
  2. Gráfico de Trace para Etapas de Execução
    • Visualize o fluxo de execução das suas tarefas CrewAI, incluindo latência e logs.
    • Útil para identificar gargalos nos fluxos de trabalho dos seus agentes.
  3. Curadoria de Dataset com Anotação Manual
    • Crie conjuntos de dados a partir das saídas das suas tarefas CrewAI para futuros treinamentos ou avaliações.
  4. Versionamento e Gerenciamento de Prompt
    • Acompanhe as diferentes versões de prompts utilizados em seus agentes CrewAI.
    • Útil para testes A/B e otimização de desempenho dos agentes.
  5. Playground de Prompt com Comparações de Modelos
    • Teste e compare diferentes prompts e modelos para seus agentes CrewAI antes da implantação.
  6. Testes e Avaliações
    • Configure testes automatizados para seus agentes e tarefas CrewAI.