​

Introdução

Observabilidade é um aspecto fundamental no desenvolvimento e implantação de agentes de IA conversacional. Ela permite que desenvolvedores compreendam como seus agentes estão performando, como eles estão interagindo com os usuários e como utilizam ferramentas externas e APIs. AgentOps é um produto independente do CrewAI que fornece uma solução completa de observabilidade para agentes.

​

AgentOps

AgentOps oferece replay de sessões, métricas e monitoramento para agentes.

Em um alto nível, o AgentOps oferece a capacidade de monitorar custos, uso de tokens, latência, falhas do agente, estatísticas de sessão e muito mais. Para mais informações, confira o Repositório do AgentOps.

​

Visão Geral

AgentOps fornece monitoramento para agentes em desenvolvimento e produção. Disponibiliza um dashboard para acompanhamento de performance dos agentes, replay de sessões e relatórios personalizados.

Além disso, o AgentOps traz análises detalhadas das sessões para visualizar interações do agente Crew, chamadas LLM e uso de ferramentas em tempo real. Esse recurso é útil para depuração e entendimento de como os agentes interagem com usuários e entre si.

​

Funcionalidades

• Gerenciamento e Rastreamento de Custos de LLM: Acompanhe gastos com provedores de modelos fundamentais.
• Análises de Replay: Assista gráficos de execução do agente, passo a passo.
• Detecção de Pensamento Recursivo: Identifique quando agentes entram em loops infinitos.
• Relatórios Personalizados: Crie análises customizadas sobre a performance dos agentes.
• Dashboard Analítico: Monitore estatísticas gerais de agentes em desenvolvimento e produção.
• Teste de Modelos Públicos: Teste seus agentes em benchmarks e rankings.
• Testes Personalizados: Execute seus agentes em testes específicos de domínio.
• Depuração com Viagem no Tempo: Reinicie suas sessões a partir de checkpoints.
• Conformidade e Segurança: Crie registros de auditoria e detecte possíveis ameaças como uso de palavrões e vazamento de dados pessoais.
• Detecção de Prompt Injection: Identifique possíveis injeções de código e vazamentos de segredos.

​

Utilizando o AgentOps

AGENTOPS_API_KEY=<YOUR_AGENTOPS_API_KEY>

pip install 'crewai[agentops]'

pip install agentops

import agentops
agentops.init()

​

Exemplos de Crew + AgentOps

​

Mais Informações

Para começar, crie uma conta AgentOps.

Para sugestões de funcionalidades ou relatos de bugs, entre em contato com o time do AgentOps pelo Repositório do AgentOps.

​

Links Extras