LLMs

​

Visão Geral

O CrewAI integra-se com múltiplos provedores de LLM através do LiteLLM, oferecendo flexibilidade para você escolher o modelo certo para o seu caso de uso específico. Este guia irá ajudá-lo a entender como configurar e usar diferentes provedores de LLM em seus projetos CrewAI.

​

O que são LLMs?

Modelos de Linguagem de Grande Escala (LLMs) são a inteligência central por trás dos agentes CrewAI. Eles permitem que os agentes compreendam o contexto, tomem decisões e gerem respostas semelhantes às humanas. Veja o que você precisa saber:

​

Configurando seu LLM

Existem diferentes locais no código do CrewAI onde você pode especificar o modelo a ser utilizado. Após definir o modelo usado, será necessário fornecer a configuração (como uma chave de API) para cada provedor de modelo. Veja a seção de exemplos de configuração de provedores para seu provedor.

MODEL=model-id  # e.g. gpt-4o, gemini-2.0-flash, claude-3-sonnet-...

# Lembre-se de definir suas chaves de API aqui também. Veja a seção
# do Provedor abaixo.

MODEL=model-id  # e.g. gpt-4o, gemini-2.0-flash, claude-3-sonnet-...

# Lembre-se de definir suas chaves de API aqui também. Veja a seção
# do Provedor abaixo.

researcher:
    role: Research Specialist
    goal: Conduct comprehensive research and analysis
    backstory: A dedicated research professional with years of experience
    verbose: true
    llm: provider/model-id  # e.g. openai/gpt-4o, google/gemini-2.0-flash, anthropic/claude...
    # (veja exemplos de configuração de provedores abaixo para mais)

from crewai import LLM

# Configuração básica
llm = LLM(model="model-id-here")  # gpt-4o, gemini-2.0-flash, anthropic/claude...

# Configuração avançada com parâmetros detalhados
llm = LLM(
    model="model-id-here",  # gpt-4o, gemini-2.0-flash, anthropic/claude...
    temperature=0.7,        # Mais alto para saídas criativas
    timeout=120,            # Segundos para aguardar resposta
    max_tokens=4000,        # Comprimento máximo da resposta
    top_p=0.9,              # Parâmetro de amostragem nucleus
    frequency_penalty=0.1 , # Reduz repetição
    presence_penalty=0.1,   # Incentiva diversidade de tópicos
    response_format={"type": "json"},  # Para respostas estruturadas
    seed=42                 # Para resultados reproduzíveis
)

​

Exemplos de Configuração de Provedores

O CrewAI suporta uma grande variedade de provedores de LLM, cada um com recursos, métodos de autenticação e capacidades de modelo únicos. Nesta seção, você encontrará exemplos detalhados que ajudam a selecionar, configurar e otimizar o LLM que melhor atende às necessidades do seu projeto.

​

Respostas em streaming

O CrewAI suporta respostas em streaming de LLMs, permitindo que sua aplicação receba e processe saídas em tempo real assim que são geradas.

from crewai import LLM

# Crie um LLM com streaming ativado
llm = LLM(
    model="openai/gpt-4o",
    stream=True  # Ativar streaming
)

from crewai import LLM

# Crie um LLM com streaming ativado
llm = LLM(
    model="openai/gpt-4o",
    stream=True  # Ativar streaming
)

from crewai.utilities.events import (
  LLMStreamChunkEvent
)
from crewai.utilities.events.base_event_listener import BaseEventListener

class MyCustomListener(BaseEventListener):
    def setup_listeners(self, crewai_event_bus):
        @crewai_event_bus.on(LLMStreamChunkEvent)
        def on_llm_stream_chunk(self, event: LLMStreamChunkEvent):
          # Clique para cada chunk assim que chegar
          print(f"Received chunk: {event.chunk}")

my_listener = MyCustomListener()

​

Chamada Estruturada de LLM

O CrewAI suporta respostas estruturadas de LLMs permitindo que você defina um response_format usando um modelo Pydantic. Isso permite que o framework automaticamente faça o parsing e valide a saída, facilitando a integração da resposta em sua aplicação sem pós-processamento manual.

Por exemplo, é possível definir um modelo Pydantic para representar a resposta esperada e passá-lo como response_format ao instanciar o LLM. O modelo será utilizado para converter a resposta do LLM em um objeto Python estruturado.

from crewai import LLM

class Dog(BaseModel):
    name: str
    age: int
    breed: str


llm = LLM(model="gpt-4o", response_format=Dog)

response = llm.call(
    "Analyze the following messages and return the name, age, and breed. "
    "Meet Kona! She is 3 years old and is a black german shepherd."
)
print(response)

# Output:
# Dog(name='Kona', age=3, breed='black german shepherd')

​

Recursos Avançados e Otimização

Saiba como obter o máximo da configuração do seu LLM:

​

Problemas Comuns e Soluções

# OpenAI
OPENAI_API_KEY=sk-...

# Anthropic
ANTHROPIC_API_KEY=sk-ant-...

# OpenAI
OPENAI_API_KEY=sk-...

# Anthropic
ANTHROPIC_API_KEY=sk-ant-...

# Correto
llm = LLM(model="openai/gpt-4")

# Incorreto
llm = LLM(model="gpt-4")

# Modelo com contexto expandido
llm = LLM(model="openai/gpt-4o")  # 128K tokens