`FirecrawlScrapeWebsiteTool`

Descrição

Firecrawl é uma plataforma para rastrear e converter qualquer site em markdown limpo ou dados estruturados.

Obtenha uma chave de API em firecrawl.dev e defina-a nas variáveis de ambiente (FIRECRAWL_API_KEY).
Instale o Firecrawl SDK junto com o pacote crewai[tools]:

pip install firecrawl-py 'crewai[tools]'

Utilize o FirecrawlScrapeWebsiteTool da seguinte forma para permitir que seu agente carregue sites:

Code

from crewai_tools import FirecrawlScrapeWebsiteTool

tool = FirecrawlScrapeWebsiteTool(url='firecrawl.dev')

api_key: Opcional. Especifica a chave de API do Firecrawl. O padrão é a variável de ambiente FIRECRAWL_API_KEY.
url: A URL a ser raspada.
page_options: Opcional.
- onlyMainContent: Opcional. Retorna apenas o conteúdo principal da página, excluindo cabeçalhos, navegações, rodapés, etc.
- includeHtml: Opcional. Inclui o conteúdo HTML bruto da página. Irá gerar uma chave html na resposta.
extractor_options: Opcional. Opções para extração baseada em LLM de informações estruturadas do conteúdo da página
- mode: O modo de extração a ser utilizado, atualmente suporta ‘llm-extraction’
- extractionPrompt: Opcional. Um prompt descrevendo quais informações extrair da página
- extractionSchema: Opcional. O esquema para os dados a serem extraídos
timeout: Opcional. Timeout em milissegundos para a requisição

⌘I