نظرة عامة
تُنفذ خطافات LLM في نقطتين حرجتين:- قبل استدعاء LLM: تعديل الرسائل، التحقق من المدخلات، أو حظر التنفيذ
- بعد استدعاء LLM: تحويل الاستجابات، تنقية المخرجات، أو تعديل سجل المحادثة
أنواع الخطافات
خطافات ما قبل استدعاء LLM
تُنفذ قبل كل استدعاء LLM، ويمكن لهذه الخطافات:- فحص وتعديل الرسائل المرسلة إلى LLM
- حظر تنفيذ LLM بناءً على شروط
- تنفيذ تحديد معدل أو بوابات موافقة
- إضافة سياق أو رسائل نظام
- تسجيل تفاصيل الطلب
خطافات ما بعد استدعاء LLM
تُنفذ بعد كل استدعاء LLM، ويمكن لهذه الخطافات:- تعديل أو تنقية استجابات LLM
- إضافة بيانات وصفية أو تنسيق
- تسجيل تفاصيل الاستجابة
- تحديث سجل المحادثة
- تنفيذ تصفية المحتوى
سياق خطاف LLM
يوفر كائنLLMCallHookContext وصولاً شاملاً لحالة التنفيذ:
تعديل الرسائل
مهم: قم دائماً بتعديل الرسائل في مكانها:طرق التسجيل
1. تسجيل الخطافات العامة
تسجيل خطافات تنطبق على جميع استدعاءات LLM عبر جميع الأطقم:2. التسجيل باستخدام المزخرفات
استخدم المزخرفات لصياغة أنظف:3. خطافات نطاق الطاقم
تسجيل خطافات لمثيل طاقم محدد:حالات الاستخدام الشائعة
1. تحديد التكرارات
2. بوابة الموافقة البشرية
3. إضافة سياق النظام
4. تنقية الاستجابات
5. تتبع التكاليف
6. تسجيل التصحيح
إدارة الخطافات
إلغاء تسجيل الخطافات
مسح الخطافات
عرض الخطافات المسجلة
أنماط متقدمة
تنفيذ خطاف مشروط
تعديلات واعية بالسياق
ربط الخطافات
أفضل الممارسات
- اجعل الخطافات مركزة: يجب أن يكون لكل خطاف مسؤولية واحدة
- تجنب الحسابات الثقيلة: تُنفذ الخطافات في كل استدعاء LLM
- تعامل مع الأخطاء بأناقة: استخدم try-except لمنع فشل الخطافات من كسر التنفيذ
- استخدم تلميحات الأنواع: استفد من
LLMCallHookContextلدعم أفضل في بيئة التطوير - وثّق سلوك الخطاف: خاصة لشروط الحظر
- اختبر الخطافات بشكل مستقل: اختبر الخطافات وحدوياً قبل الاستخدام في الإنتاج
- امسح الخطافات في الاختبارات: استخدم
clear_all_llm_call_hooks()بين تشغيلات الاختبار - عدّل في المكان: قم دائماً بتعديل
context.messagesفي مكانها، ولا تستبدلها
معالجة الأخطاء
أمان الأنواع
استكشاف الأخطاء وإصلاحها
الخطاف لا يُنفذ
- تحقق من أن الخطاف مسجل قبل تنفيذ الطاقم
- تحقق مما إذا كان خطاف سابق أرجع
False(يحظر الخطافات اللاحقة) - تأكد من أن توقيع الخطاف يطابق النوع المتوقع
تعديلات الرسائل لا تستمر
- استخدم التعديلات في المكان:
context.messages.append() - لا تستبدل القائمة:
context.messages = []
تعديلات الاستجابة لا تعمل
- أرجع السلسلة النصية المعدلة من خطافات ما بعد
- إرجاع
Noneيحتفظ بالاستجابة الأصلية
