​
FirecrawlScrapeWebsiteTool

​
Descrição

Firecrawl é uma plataforma para rastrear e converter qualquer site em markdown limpo ou dados estruturados.

​
Instalação

  • Obtenha uma chave de API em firecrawl.dev e defina-a nas variáveis de ambiente (FIRECRAWL_API_KEY).
  • Instale o Firecrawl SDK junto com o pacote crewai[tools]:
pip install firecrawl-py 'crewai[tools]'

​
Exemplo

Utilize o FirecrawlScrapeWebsiteTool da seguinte forma para permitir que seu agente carregue sites:
Code
from crewai_tools import FirecrawlScrapeWebsiteTool

tool = FirecrawlScrapeWebsiteTool(url='firecrawl.dev')

​
Argumentos

  • api_key: Opcional. Especifica a chave de API do Firecrawl. O padrão é a variável de ambiente FIRECRAWL_API_KEY.
  • url: A URL a ser raspada.
  • page_options: Opcional.
    • onlyMainContent: Opcional. Retorna apenas o conteúdo principal da página, excluindo cabeçalhos, navegações, rodapés, etc.
    • includeHtml: Opcional. Inclui o conteúdo HTML bruto da página. Irá gerar uma chave html na resposta.
  • extractor_options: Opcional. Opções para extração baseada em LLM de informações estruturadas do conteúdo da página
    • mode: O modo de extração a ser utilizado, atualmente suporta ‘llm-extraction’
    • extractionPrompt: Opcional. Um prompt descrevendo quais informações extrair da página
    • extractionSchema: Opcional. O esquema para os dados a serem extraídos
  • timeout: Opcional. Timeout em milissegundos para a requisição