استخدام الوكلاء متعددي الوسائط
يدعم CrewAI الوكلاء متعددي الوسائط القادرين على معالجة المحتوى النصي وغير النصي مثل الصور. سيوضح لك هذا الدليل كيفية تفعيل واستخدام القدرات متعددة الوسائط في وكلائك.تفعيل القدرات متعددة الوسائط
لإنشاء وكيل متعدد الوسائط، ما عليك سوى تعيين معاملmultimodal إلى True عند تهيئة وكيلك:
multimodal=True، يتم إعداد الوكيل تلقائياً بالأدوات اللازمة للتعامل مع المحتوى غير النصي، بما في ذلك AddImageTool.
العمل مع الصور
يأتي الوكيل متعدد الوسائط مُعداً مسبقاً بأداةAddImageTool، التي تتيح له معالجة الصور. لا تحتاج إلى إضافة هذه الأداة يدوياً — فهي مضمنة تلقائياً عند تفعيل القدرات متعددة الوسائط.
إليك مثالاً كاملاً يوضح كيفية استخدام وكيل متعدد الوسائط لتحليل صورة:
الاستخدام المتقدم مع السياق
يمكنك تقديم سياق إضافي أو أسئلة محددة حول الصورة عند إنشاء مهام للوكلاء متعددي الوسائط. يمكن أن يتضمن وصف المهمة جوانب محددة تريد أن يركز عليها الوكيل:تفاصيل الأداة
عند العمل مع الوكلاء متعددي الوسائط، يتم إعدادAddImageTool تلقائياً بالمخطط التالي:
- الوصول إلى الصور عبر عناوين URL أو مسارات الملفات المحلية
- معالجة محتوى الصورة مع سياق اختياري أو أسئلة محددة
- تقديم تحليلات ورؤى بناءً على المعلومات البصرية ومتطلبات المهمة
أفضل الممارسات
عند العمل مع الوكلاء متعددي الوسائط، ضع هذه الممارسات في الاعتبار:-
الوصول إلى الصور
- تأكد من أن صورك قابلة للوصول عبر عناوين URL التي يمكن للوكيل الوصول إليها
- للصور المحلية، فكر في استضافتها مؤقتاً أو استخدام مسارات ملفات مطلقة
- تحقق من أن عناوين URL للصور صالحة وقابلة للوصول قبل تشغيل المهام
-
وصف المهمة
- كن محدداً حول الجوانب التي تريد من الوكيل تحليلها في الصورة
- قم بتضمين أسئلة أو متطلبات واضحة في وصف المهمة
- فكر في استخدام معامل
actionالاختياري للتحليل المركز
-
إدارة الموارد
- قد تتطلب معالجة الصور موارد حسابية أكثر من المهام النصية فقط
- قد تتطلب بعض نماذج اللغة ترميز base64 لبيانات الصورة
- فكر في المعالجة الدفعية لصور متعددة لتحسين الأداء
-
إعداد البيئة
- تحقق من أن بيئتك تحتوي على الاعتماديات اللازمة لمعالجة الصور
- تأكد من أن نموذج اللغة الخاص بك يدعم القدرات متعددة الوسائط
- اختبر بصور صغيرة أولاً للتحقق من إعدادك
-
معالجة الأخطاء
- نفّذ معالجة أخطاء مناسبة لحالات فشل تحميل الصور
- ضع استراتيجيات احتياطية لحالات فشل معالجة الصور
- راقب وسجل عمليات معالجة الصور لأغراض التصحيح
