الانتقال إلى المحتوى الرئيسي

​
FirecrawlScrapeWebsiteTool

​
الوصف

Firecrawl هي منصة لزحف وتحويل أي موقع إلى markdown نظيف أو بيانات منظمة.

​
التثبيت

  • احصل على مفتاح API من firecrawl.dev وعيّنه في متغيرات البيئة (FIRECRAWL_API_KEY).
  • ثبّت Firecrawl SDK مع حزمة crewai[tools]:
pip install firecrawl-py 'crewai[tools]'

​
مثال

استخدم FirecrawlScrapeWebsiteTool كما يلي للسماح لوكيلك بتحميل المواقع:
Code
from crewai_tools import FirecrawlScrapeWebsiteTool

tool = FirecrawlScrapeWebsiteTool(url='firecrawl.dev')

​
المعاملات

  • api_key: اختياري. يحدد مفتاح Firecrawl API. الافتراضي هو متغير البيئة FIRECRAWL_API_KEY.
  • url: عنوان URL المراد استخراجه.
  • page_options: اختياري.
    • onlyMainContent: اختياري. إرجاع المحتوى الرئيسي فقط للصفحة باستثناء الرؤوس وأشرطة التنقل والتذييلات وغيرها.
    • includeHtml: اختياري. تضمين محتوى HTML الخام للصفحة. سيُخرج مفتاح html في الاستجابة.
  • extractor_options: اختياري. خيارات لاستخراج المعلومات المنظمة من محتوى الصفحة باستخدام LLM
    • mode: وضع الاستخراج المستخدم، يدعم حالياً ‘llm-extraction’
    • extractionPrompt: اختياري. موجّه يصف المعلومات المراد استخراجها من الصفحة
    • extractionSchema: اختياري. المخطط للبيانات المراد استخراجها
  • timeout: اختياري. المهلة بالملي ثانية للطلب