نظرة عامة

​

الأدوات المتاحة

​

حالات الاستخدام الشائعة

• استخراج البيانات: استخراج معلومات المنتجات والأسعار والمراجعات
• مراقبة المحتوى: تتبع التغييرات على المواقع ومصادر الأخبار
• توليد العملاء المحتملين: استخراج معلومات الاتصال وبيانات الأعمال
• أبحاث السوق: جمع المعلومات الاستخباراتية التنافسية وبيانات السوق
• الاختبار وضمان الجودة: أتمتة اختبار المتصفح وسير عمل التحقق
• وسائل التواصل الاجتماعي: استخراج المنشورات والتعليقات وتحليلات وسائل التواصل الاجتماعي

​

مثال سريع للبدء

from crewai_tools import ScrapeWebsiteTool, FirecrawlScrapeWebsiteTool, SeleniumScrapingTool

# Create scraping tools
simple_scraper = ScrapeWebsiteTool()
advanced_scraper = FirecrawlScrapeWebsiteTool()
browser_automation = SeleniumScrapingTool()

# Add to your agent
agent = Agent(
    role="Web Research Specialist",
    tools=[simple_scraper, advanced_scraper, browser_automation],
    goal="Extract and analyze web data efficiently"
)

​

أفضل ممارسات الاستخراج

• احترام robots.txt: تحقق دائماً واتبع سياسات استخراج المواقع
• تحديد المعدل: نفّذ تأخيرات بين الطلبات لتجنب إرهاق الخوادم
• وكيل المستخدم: استخدم سلاسل وكيل مستخدم مناسبة لتعريف الروبوت الخاص بك
• الامتثال القانوني: تأكد من أن أنشطة الاستخراج تتوافق مع شروط الخدمة
• معالجة الأخطاء: نفّذ معالجة أخطاء قوية لمشاكل الشبكة والطلبات المحظورة
• جودة البيانات: تحقق من صحة البيانات المستخرجة ونظّفها قبل المعالجة

​

دليل اختيار الأداة

• المهام البسيطة: استخدم ScrapeWebsiteTool لاستخراج المحتوى الأساسي
• المواقع كثيفة JavaScript: استخدم SeleniumScrapingTool للمحتوى الديناميكي
• التوسع والأداء: استخدم FirecrawlScrapeWebsiteTool للاستخراج بكميات كبيرة
• البنية التحتية السحابية: استخدم BrowserBaseLoadTool لأتمتة المتصفح القابلة للتوسع
• سير العمل المعقدة: استخدم StagehandTool لتفاعلات المتصفح الذكية