الانتقال إلى المحتوى الرئيسي

استخدام الوكلاء متعددي الوسائط

يدعم CrewAI الوكلاء متعددي الوسائط القادرين على معالجة المحتوى النصي وغير النصي مثل الصور. سيوضح لك هذا الدليل كيفية تفعيل واستخدام القدرات متعددة الوسائط في وكلائك.

تفعيل القدرات متعددة الوسائط

لإنشاء وكيل متعدد الوسائط، ما عليك سوى تعيين معامل multimodal إلى True عند تهيئة وكيلك:
عند تعيين multimodal=True، يتم إعداد الوكيل تلقائياً بالأدوات اللازمة للتعامل مع المحتوى غير النصي، بما في ذلك AddImageTool.

العمل مع الصور

يأتي الوكيل متعدد الوسائط مُعداً مسبقاً بأداة AddImageTool، التي تتيح له معالجة الصور. لا تحتاج إلى إضافة هذه الأداة يدوياً — فهي مضمنة تلقائياً عند تفعيل القدرات متعددة الوسائط. إليك مثالاً كاملاً يوضح كيفية استخدام وكيل متعدد الوسائط لتحليل صورة:

الاستخدام المتقدم مع السياق

يمكنك تقديم سياق إضافي أو أسئلة محددة حول الصورة عند إنشاء مهام للوكلاء متعددي الوسائط. يمكن أن يتضمن وصف المهمة جوانب محددة تريد أن يركز عليها الوكيل:

تفاصيل الأداة

عند العمل مع الوكلاء متعددي الوسائط، يتم إعداد AddImageTool تلقائياً بالمخطط التالي:
سيتعامل الوكيل متعدد الوسائط تلقائياً مع معالجة الصور من خلال أدواته المدمجة، مما يتيح له:
  • الوصول إلى الصور عبر عناوين URL أو مسارات الملفات المحلية
  • معالجة محتوى الصورة مع سياق اختياري أو أسئلة محددة
  • تقديم تحليلات ورؤى بناءً على المعلومات البصرية ومتطلبات المهمة

أفضل الممارسات

عند العمل مع الوكلاء متعددي الوسائط، ضع هذه الممارسات في الاعتبار:
  1. الوصول إلى الصور
    • تأكد من أن صورك قابلة للوصول عبر عناوين URL التي يمكن للوكيل الوصول إليها
    • للصور المحلية، فكر في استضافتها مؤقتاً أو استخدام مسارات ملفات مطلقة
    • تحقق من أن عناوين URL للصور صالحة وقابلة للوصول قبل تشغيل المهام
  2. وصف المهمة
    • كن محدداً حول الجوانب التي تريد من الوكيل تحليلها في الصورة
    • قم بتضمين أسئلة أو متطلبات واضحة في وصف المهمة
    • فكر في استخدام معامل action الاختياري للتحليل المركز
  3. إدارة الموارد
    • قد تتطلب معالجة الصور موارد حسابية أكثر من المهام النصية فقط
    • قد تتطلب بعض نماذج اللغة ترميز base64 لبيانات الصورة
    • فكر في المعالجة الدفعية لصور متعددة لتحسين الأداء
  4. إعداد البيئة
    • تحقق من أن بيئتك تحتوي على الاعتماديات اللازمة لمعالجة الصور
    • تأكد من أن نموذج اللغة الخاص بك يدعم القدرات متعددة الوسائط
    • اختبر بصور صغيرة أولاً للتحقق من إعدادك
  5. معالجة الأخطاء
    • نفّذ معالجة أخطاء مناسبة لحالات فشل تحميل الصور
    • ضع استراتيجيات احتياطية لحالات فشل معالجة الصور
    • راقب وسجل عمليات معالجة الصور لأغراض التصحيح