استخراج المواقع باستخدام Firecrawl

`FirecrawlScrapeWebsiteTool`

Firecrawl هي منصة لزحف وتحويل أي موقع إلى markdown نظيف أو بيانات منظمة.

احصل على مفتاح API من firecrawl.dev وعيّنه في متغيرات البيئة (FIRECRAWL_API_KEY).
ثبّت Firecrawl SDK مع حزمة crewai[tools]:

pip install firecrawl-py 'crewai[tools]'

استخدم FirecrawlScrapeWebsiteTool كما يلي للسماح لوكيلك بتحميل المواقع:

from crewai_tools import FirecrawlScrapeWebsiteTool

tool = FirecrawlScrapeWebsiteTool(url='firecrawl.dev')

api_key: اختياري. يحدد مفتاح Firecrawl API. الافتراضي هو متغير البيئة FIRECRAWL_API_KEY.
url: عنوان URL المراد استخراجه.
page_options: اختياري.
- onlyMainContent: اختياري. إرجاع المحتوى الرئيسي فقط للصفحة باستثناء الرؤوس وأشرطة التنقل والتذييلات وغيرها.
- includeHtml: اختياري. تضمين محتوى HTML الخام للصفحة. سيُخرج مفتاح html في الاستجابة.
extractor_options: اختياري. خيارات لاستخراج المعلومات المنظمة من محتوى الصفحة باستخدام LLM
- mode: وضع الاستخراج المستخدم، يدعم حالياً ‘llm-extraction’
- extractionPrompt: اختياري. موجّه يصف المعلومات المراد استخراجها من الصفحة
- extractionSchema: اختياري. المخطط للبيانات المراد استخراجها
timeout: اختياري. المهلة بالملي ثانية للطلب