​
Introdução

Observabilidade é um aspecto fundamental no desenvolvimento e implantação de agentes de IA conversacional. Ela permite que desenvolvedores compreendam como seus agentes estão performando, como eles estão interagindo com os usuários e como utilizam ferramentas externas e APIs. AgentOps é um produto independente do CrewAI que fornece uma solução completa de observabilidade para agentes.

​
AgentOps

AgentOps oferece replay de sessões, métricas e monitoramento para agentes. Em um alto nível, o AgentOps oferece a capacidade de monitorar custos, uso de tokens, latência, falhas do agente, estatísticas de sessão e muito mais. Para mais informações, confira o Repositório do AgentOps.

​
Visão Geral

AgentOps fornece monitoramento para agentes em desenvolvimento e produção. Disponibiliza um dashboard para acompanhamento de performance dos agentes, replay de sessões e relatórios personalizados. Além disso, o AgentOps traz análises detalhadas das sessões para visualizar interações do agente Crew, chamadas LLM e uso de ferramentas em tempo real. Esse recurso é útil para depuração e entendimento de como os agentes interagem com usuários e entre si. Visão geral de uma série selecionada de execuções de sessões do agente Visão geral das análises detalhadas de sessões para examinar execuções de agentes Visualizando um gráfico de execução passo a passo do replay do agente

​
Funcionalidades

  • Gerenciamento e Rastreamento de Custos de LLM: Acompanhe gastos com provedores de modelos fundamentais.
  • Análises de Replay: Assista gráficos de execução do agente, passo a passo.
  • Detecção de Pensamento Recursivo: Identifique quando agentes entram em loops infinitos.
  • Relatórios Personalizados: Crie análises customizadas sobre a performance dos agentes.
  • Dashboard Analítico: Monitore estatísticas gerais de agentes em desenvolvimento e produção.
  • Teste de Modelos Públicos: Teste seus agentes em benchmarks e rankings.
  • Testes Personalizados: Execute seus agentes em testes específicos de domínio.
  • Depuração com Viagem no Tempo: Reinicie suas sessões a partir de checkpoints.
  • Conformidade e Segurança: Crie registros de auditoria e detecte possíveis ameaças como uso de palavrões e vazamento de dados pessoais.
  • Detecção de Prompt Injection: Identifique possíveis injeções de código e vazamentos de segredos.

​
Utilizando o AgentOps

1

Crie uma Chave de API

Crie uma chave de API de usuário aqui: Create API Key
2

Configure seu Ambiente

Adicione sua chave API nas variáveis de ambiente:
AGENTOPS_API_KEY=<YOUR_AGENTOPS_API_KEY>
3

Instale o AgentOps

Instale o AgentOps com:
pip install 'crewai[agentops]'
ou
pip install agentops
4

Inicialize o AgentOps

Antes de utilizar o Crew no seu script, inclua estas linhas:
import agentops
agentops.init()
Isso irá iniciar uma sessão do AgentOps e também rastrear automaticamente os agentes Crew. Para mais detalhes sobre como adaptar sistemas de agentes mais complexos, confira a documentação do AgentOps ou participe do Discord.

​
Exemplos de Crew + AgentOps

Vaga de Emprego

Exemplo de um agente Crew que gera vagas de emprego.

Validador de Markdown

Exemplo de um agente Crew que valida arquivos Markdown.

Post no Instagram

Exemplo de um agente Crew que gera posts para Instagram.

​
Mais Informações

Para começar, crie uma conta AgentOps. Para sugestões de funcionalidades ou relatos de bugs, entre em contato com o time do AgentOps pelo Repositório do AgentOps. 🐦 Twitter   •   📢 Discord   •   🖇️ Dashboard AgentOps   •   📙 Documentação