Implementação de LLM Personalizada

​

Visão Geral

O CrewAI oferece suporte a implementações personalizadas de LLM por meio da classe abstrata BaseLLM. Isso permite integrar qualquer provedor de LLM que não tenha suporte nativo no LiteLLM ou implementar mecanismos de autenticação personalizados.

​

Início Rápido

Aqui está uma implementação mínima de LLM personalizada:

# (não traduzir blocos de código)

​

Usando Seu LLM Personalizado

# (não traduzir blocos de código)

​

Métodos Necessários

​

Construtor: __init__()

Crítico: Você deve chamar super().__init__(model, temperature) com os parâmetros necessários:

# (não traduzir blocos de código)

​

Método Abstrato: call()

O método call() é o núcleo da sua implementação de LLM. Ele deve:

• Aceitar mensagens (string ou lista de dicionários com ‘role’ e ‘content’)
• Retornar uma resposta como string
• Lidar com ferramentas e chamada de funções, se suportado
• Lançar exceções apropriadas para erros

​

Métodos Opcionais

# (não traduzir blocos de código)

​

Padrões Comuns

​

Tratamento de Erros

# (não traduzir blocos de código)

​

Autenticação Personalizada

# (não traduzir blocos de código)

​

Suporte a Stop Words

O CrewAI adiciona automaticamente "\nObservation:" como stop word para controlar o comportamento do agente. Se o seu LLM suporta stop words:

# (não traduzir blocos de código)

Se o seu LLM não suporta stop words nativamente:

# (não traduzir blocos de código)

​

Chamada de Funções

Se o seu LLM suporta chamada de funções, implemente o fluxo completo:

# (não traduzir blocos de código)

​

Solução de Problemas

​

Problemas Comuns

Erros no Construtor

# ❌ Errado - parâmetros obrigatórios ausentes
def __init__(self, api_key: str):
    super().__init__()

# ✅ Correto
def __init__(self, model: str, api_key: str, temperature: Optional[float] = None):
    super().__init__(model=model, temperature=temperature)

Chamada de Funções Não Funciona

• Certifique-se de que supports_function_calling() retorna True
• Verifique se você lida com tool_calls na resposta
• Assegure-se de que o parâmetro available_functions está sendo corretamente utilizado

Falhas de Autenticação

• Verifique o formato e as permissões da chave de API
• Confira o formato do header de autenticação
• Certifique-se de que as URLs dos endpoints estão corretas

Erros de Parsing de Resposta

• Valide a estrutura da resposta antes de acessar campos aninhados
• Trate casos em que o content pode ser None
• Adicione tratamento de erros para respostas malformadas

​

Testando Seu LLM Personalizado

# (não traduzir blocos de código)

Este guia cobre o essencial para implementar LLMs personalizados no CrewAI.