نظرة عامة
حاجز الهلوسة هو ميزة مؤسسية تتحقق من المحتوى المولّد بالذكاء الاصطناعي لضمان أنه مبني على الحقائق ولا يحتوي على هلوسات. يحلل مخرجات المهام مقابل سياق مرجعي ويوفر ملاحظات مفصلة عند اكتشاف محتوى محتمل الهلوسة.ما هي الهلوسات؟
تحدث هلوسات الذكاء الاصطناعي عندما تولّد نماذج اللغة محتوى يبدو معقولاً لكنه غير صحيح من الناحية الواقعية أو غير مدعوم بالسياق المقدم. يساعد حاجز الهلوسة في منع هذه المشكلات من خلال:- مقارنة المخرجات مع السياق المرجعي
- تقييم الأمانة للمادة المصدرية
- توفير ملاحظات مفصلة حول المحتوى المشكل
- دعم عتبات مخصصة لصرامة التحقق
الاستخدام الأساسي
إعداد الحاجز
الإضافة إلى المهام
التهيئة المتقدمة
التحقق بعتبة مخصصة
للتحقق الأكثر صرامة، يمكنك تعيين عتبة أمانة مخصصة (مقياس 0-10):تضمين سياق استجابة الأدوات
عندما تستخدم مهمتك أدوات، يمكنك تضمين استجابات الأدوات لتحقق أكثر دقة:كيف يعمل
عملية التحقق
- تحليل السياق: يقارن الحاجز مخرجات المهمة مع السياق المرجعي المقدم
- تسجيل الأمانة: يستخدم مقيّمًا داخليًا لتعيين درجة أمانة (0-10)
- تحديد الحكم: يحدد ما إذا كان المحتوى أمينًا أو يحتوي على هلوسات
- التحقق من العتبة: إذا تم تعيين عتبة مخصصة، يتحقق مقابل تلك الدرجة
- توليد الملاحظات: يوفر أسبابًا مفصلة عند فشل التحقق
منطق التحقق
- الوضع الافتراضي: يستخدم التحقق المبني على الحكم (FAITHFUL مقابل HALLUCINATED)
- وضع العتبة: يتطلب أن تلبي درجة الأمانة العتبة المحددة أو تتجاوزها
- معالجة الأخطاء: يتعامل بسلاسة مع أخطاء التقييم ويوفر ملاحظات إعلامية
نتائج الحاجز
يعيد الحاجز نتائج منظمة تشير إلى حالة التحقق:خصائص النتيجة
- valid: قيمة منطقية تشير إلى ما إذا اجتازت المخرجات التحقق
- feedback: شرح مفصل عند فشل التحقق، يتضمن:
- درجة الأمانة
- تصنيف الحكم
- أسباب محددة للفشل
التكامل مع نظام المهام
التحقق التلقائي
عند إضافة حاجز إلى مهمة، يتحقق تلقائيًا من المخرجات قبل اعتبار المهمة مكتملة:تتبع الأحداث
يتكامل الحاجز مع نظام أحداث CrewAI لتوفير المراقبة:- بدء التحقق: عند بدء تقييم الحاجز
- اكتمال التحقق: عند انتهاء التقييم بالنتائج
- فشل التحقق: عند حدوث أخطاء تقنية أثناء التقييم
أفضل الممارسات
إرشادات السياق
توفير سياق شامل
أدرج جميع المعلومات الواقعية ذات الصلة التي يجب أن يبني عليها الذكاء الاصطناعي مخرجاته:
اختيار العتبة
الضبط بناءً على المتطلبات
- محتوى عالي الأهمية: استخدم عتبة 8-10 للدقة القصوى
- محتوى عام: استخدم عتبة 6-7 للتحقق المتوازن
- محتوى إبداعي: استخدم عتبة 4-5 أو التحقق الافتراضي المبني على الحكم
اعتبارات الأداء
التأثير على زمن التنفيذ
- عبء التحقق: يضيف كل حاجز حوالي 1-3 ثوانٍ لكل مهمة
- كفاءة LLM: اختر نماذج فعالة للتقييم (مثل gpt-4o-mini)
تحسين التكلفة
- اختيار النموذج: استخدم نماذج أصغر وفعالة لتقييم الحاجز
- حجم السياق: اجعل السياق المرجعي موجزًا لكن شاملًا
- التخزين المؤقت: فكّر في تخزين نتائج التحقق مؤقتًا للمحتوى المتكرر
استكشاف الأخطاء وإصلاحها
فشل التحقق دائمًا
فشل التحقق دائمًا
الأسباب المحتملة:
- السياق مقيّد جدًا أو غير مرتبط بمخرجات المهمة
- العتبة معينة عالية جدًا لنوع المحتوى
- السياق المرجعي يحتوي على معلومات قديمة
- مراجعة وتحديث السياق ليتطابق مع متطلبات المهمة
- خفض العتبة أو استخدام التحقق الافتراضي المبني على الحكم
- التأكد من أن السياق حالي ودقيق
إيجابيات كاذبة (محتوى صالح يُعلّم كغير صالح)
إيجابيات كاذبة (محتوى صالح يُعلّم كغير صالح)
الأسباب المحتملة:
- العتبة عالية جدًا للمهام الإبداعية أو التفسيرية
- السياق لا يغطي جميع الجوانب الصالحة للمخرجات
- نموذج التقييم محافظ بشكل مفرط
- خفض العتبة أو استخدام التحقق الافتراضي
- توسيع السياق ليشمل محتوى مقبول أوسع
- الاختبار مع نماذج تقييم مختلفة
أخطاء التقييم
أخطاء التقييم
الأسباب المحتملة:
- مشكلات في الاتصال بالشبكة
- نموذج LLM غير متاح أو محدود المعدل
- مخرجات مهمة أو سياق غير صالح
- التحقق من الاتصال بالشبكة وحالة خدمة LLM
- تنفيذ منطق إعادة المحاولة للأعطال المؤقتة
- التحقق من تنسيق مخرجات المهمة قبل تقييم الحاجز
هل تحتاج مساعدة؟
تواصل مع فريق الدعم للمساعدة في تهيئة حاجز الهلوسة أو استكشاف الأخطاء وإصلاحها.
