Monitore e avalie o desempenho de agentes CrewAI utilizando a plataforma abrangente de avaliação da Patronus AI para saídas de LLM e comportamentos de agentes.
PatronusEvalTool
, que permite aos agentes selecionar o avaliador e critérios mais apropriados:
PatronusPredefinedCriteriaEvalTool
, que utiliza avaliador e critérios predefinidos:
PatronusLocalEvaluatorTool
, que utiliza avaliadores customizados via função:
PatronusEvalTool
não exige parâmetros durante a inicialização. Ele busca automaticamente os avaliadores e critérios disponíveis a partir da API da Patronus.
PatronusPredefinedCriteriaEvalTool
aceita os seguintes parâmetros durante a inicialização:
[{"evaluator": "judge", "criteria": "contains-code"}]
.PatronusLocalEvaluatorTool
aceita os seguintes parâmetros durante a inicialização:
PatronusEvalTool
e o PatronusPredefinedCriteriaEvalTool
, os seguintes parâmetros são obrigatórios ao chamar a ferramenta:
PatronusLocalEvaluatorTool
, os mesmos parâmetros são necessários, mas o avaliador e a resposta padrão são especificados durante a inicialização.