نظرة عامة على Opik
مع Comet Opik، يمكنك تصحيح الأخطاء وتقييم ومراقبة تطبيقات LLM وأنظمة RAG وسير العمل الوكيلي مع تتبع شامل وتقييمات آلية ولوحات معلومات جاهزة للإنتاج.
- تسجيل التتبعات والنطاقات: تتبع تلقائي لاستدعاءات LLM ومنطق التطبيق لتصحيح الأخطاء وتحليل أنظمة التطوير والإنتاج. أضف التعليقات التوضيحية يدوياً أو برمجياً، واعرض وقارن الاستجابات عبر المشاريع.
- تقييم أداء تطبيق LLM: قيّم وفقاً لمجموعة اختبار مخصصة وشغّل مقاييس تقييم مدمجة أو حدد مقاييسك الخاصة في SDK أو واجهة المستخدم.
- الاختبار ضمن خط أنابيب CI/CD: أنشئ خطوط أساس أداء موثوقة مع اختبارات وحدة LLM من Opik، المبنية على PyTest. شغّل تقييمات عبر الإنترنت للمراقبة المستمرة في الإنتاج.
- مراقبة وتحليل بيانات الإنتاج: افهم أداء نماذجك على بيانات غير مرئية في الإنتاج وأنشئ مجموعات بيانات لتكرارات التطوير الجديدة.
الإعداد
يوفر Comet نسخة مستضافة من منصة Opik، أو يمكنك تشغيل المنصة محلياً. لاستخدام النسخة المستضافة، ما عليك سوى إنشاء حساب Comet مجاني والحصول على مفتاح API الخاص بك. لتشغيل منصة Opik محلياً، راجع دليل التثبيت لمزيد من المعلومات. في هذا الدليل سنستخدم مثال البدء السريع الخاص بـ CrewAI.استخدام CrewAI
الخطوة الأولى هي إنشاء مشروعنا. سنستخدم مثالاً من وثائق CrewAI:الآن يمكننا استيراد متتبع Opik وتشغيل الطاقم:بعد تشغيل تطبيق CrewAI، قم بزيارة تطبيق Opik لعرض:
- تتبعات LLM والنطاقات وبياناتها الوصفية
- تفاعلات الوكلاء وتدفق تنفيذ المهام
- مقاييس الأداء مثل زمن الاستجابة واستخدام الرموز المميزة
- مقاييس التقييم (مدمجة أو مخصصة)
