Pular para o conteúdo principal

​
Visão Geral

O CrewAI oferece suporte a implementações personalizadas de LLM por meio da classe abstrata BaseLLM. Isso permite integrar qualquer provedor de LLM que não tenha suporte nativo no LiteLLM ou implementar mecanismos de autenticação personalizados.

​
Início Rápido

Aqui está uma implementação mínima de LLM personalizada: 
# (não traduzir blocos de código)

​
Usando Seu LLM Personalizado

# (não traduzir blocos de código)

​
Métodos Necessários

​
Construtor: __init__()

Crítico: Você deve chamar super().__init__(model, temperature) com os parâmetros necessários: 
# (não traduzir blocos de código)

​
Método Abstrato: call()

O método call() é o núcleo da sua implementação de LLM. Ele deve:
  • Aceitar mensagens (string ou lista de dicionários com ‘role’ e ‘content’)
  • Retornar uma resposta como string
  • Lidar com ferramentas e chamada de funções, se suportado
  • Lançar exceções apropriadas para erros

​
Métodos Opcionais

# (não traduzir blocos de código)

​
Padrões Comuns

​
Tratamento de Erros

# (não traduzir blocos de código)

​
Autenticação Personalizada

# (não traduzir blocos de código)

​
Suporte a Stop Words

O CrewAI adiciona automaticamente "\nObservation:" como stop word para controlar o comportamento do agente. Se o seu LLM suporta stop words: 
# (não traduzir blocos de código)
Se o seu LLM não suporta stop words nativamente: 
# (não traduzir blocos de código)

​
Chamada de Funções

Se o seu LLM suporta chamada de funções, implemente o fluxo completo: 
# (não traduzir blocos de código)

​
Solução de Problemas

​
Problemas Comuns

Erros no Construtor 
# ❌ Errado - parâmetros obrigatórios ausentes
def __init__(self, api_key: str):
    super().__init__()

# ✅ Correto
def __init__(self, model: str, api_key: str, temperature: Optional[float] = None):
    super().__init__(model=model, temperature=temperature)
Chamada de Funções Não Funciona
  • Certifique-se de que supports_function_calling() retorna True
  • Verifique se você lida com tool_calls na resposta
  • Assegure-se de que o parâmetro available_functions está sendo corretamente utilizado
Falhas de Autenticação
  • Verifique o formato e as permissões da chave de API
  • Confira o formato do header de autenticação
  • Certifique-se de que as URLs dos endpoints estão corretas
Erros de Parsing de Resposta
  • Valide a estrutura da resposta antes de acessar campos aninhados
  • Trate casos em que o content pode ser None
  • Adicione tratamento de erros para respostas malformadas

​
Testando Seu LLM Personalizado

# (não traduzir blocos de código)
Este guia cobre o essencial para implementar LLMs personalizados no CrewAI.