​
Visão Geral do Langtrace

O Langtrace é uma ferramenta externa e open-source que auxilia na configuração de observabilidade e avaliações para Modelos de Linguagem de Grande Porte (LLMs), frameworks de LLM e Bancos de Dados Vetoriais. Apesar de não ser integrado diretamente ao CrewAI, o Langtrace pode ser utilizado em conjunto com o CrewAI para fornecer uma visibilidade aprofundada sobre o custo, latência e desempenho dos seus Agentes CrewAI. Essa integração permite o registro de hiperparâmetros, o monitoramento de regressões de desempenho e o estabelecimento de um processo de melhoria contínua dos seus Agentes.

​
Instruções de Configuração

1

Crie uma conta no Langtrace

Cadastre-se acessando https://langtrace.ai/signup.

2

Crie um projeto

Defina o tipo do projeto como CrewAI e gere uma chave de API.

3

Instale o Langtrace no seu projeto CrewAI

Use o seguinte comando:

pip install langtrace-python-sdk
4

Importe o Langtrace

Importe e inicialize o Langtrace no início do seu script, antes de quaisquer imports do CrewAI:

from langtrace_python_sdk import langtrace
langtrace.init(api_key='<LANGTRACE_API_KEY>')

# Agora importe os módulos do CrewAI
from crewai import Agent, Task, Crew

​
Funcionalidades e Sua Aplicação no CrewAI

  1. Rastreamento de Token e Custo do LLM

    • Monitore o uso de tokens e os custos associados para cada interação dos agentes CrewAI.

  2. Gráfico de Trace para Etapas de Execução

    • Visualize o fluxo de execução das suas tarefas CrewAI, incluindo latência e logs.
    • Útil para identificar gargalos nos fluxos de trabalho dos seus agentes.

  3. Curadoria de Dataset com Anotação Manual

    • Crie conjuntos de dados a partir das saídas das suas tarefas CrewAI para futuros treinamentos ou avaliações.

  4. Versionamento e Gerenciamento de Prompt

    • Acompanhe as diferentes versões de prompts utilizados em seus agentes CrewAI.
    • Útil para testes A/B e otimização de desempenho dos agentes.

  5. Playground de Prompt com Comparações de Modelos

    • Teste e compare diferentes prompts e modelos para seus agentes CrewAI antes da implantação.

  6. Testes e Avaliações

    • Configure testes automatizados para seus agentes e tarefas CrewAI.