الانتقال إلى المحتوى الرئيسي

نظرة عامة على Opik

مع Comet Opik، يمكنك تصحيح الأخطاء وتقييم ومراقبة تطبيقات LLM وأنظمة RAG وسير العمل الوكيلي مع تتبع شامل وتقييمات آلية ولوحات معلومات جاهزة للإنتاج.
Opik agent monitoring example with CrewAI
يوفر Opik دعماً شاملاً لكل مرحلة من مراحل تطوير تطبيق CrewAI الخاص بك:
  • تسجيل التتبعات والنطاقات: تتبع تلقائي لاستدعاءات LLM ومنطق التطبيق لتصحيح الأخطاء وتحليل أنظمة التطوير والإنتاج. أضف التعليقات التوضيحية يدوياً أو برمجياً، واعرض وقارن الاستجابات عبر المشاريع.
  • تقييم أداء تطبيق LLM: قيّم وفقاً لمجموعة اختبار مخصصة وشغّل مقاييس تقييم مدمجة أو حدد مقاييسك الخاصة في SDK أو واجهة المستخدم.
  • الاختبار ضمن خط أنابيب CI/CD: أنشئ خطوط أساس أداء موثوقة مع اختبارات وحدة LLM من Opik، المبنية على PyTest. شغّل تقييمات عبر الإنترنت للمراقبة المستمرة في الإنتاج.
  • مراقبة وتحليل بيانات الإنتاج: افهم أداء نماذجك على بيانات غير مرئية في الإنتاج وأنشئ مجموعات بيانات لتكرارات التطوير الجديدة.

الإعداد

يوفر Comet نسخة مستضافة من منصة Opik، أو يمكنك تشغيل المنصة محلياً. لاستخدام النسخة المستضافة، ما عليك سوى إنشاء حساب Comet مجاني والحصول على مفتاح API الخاص بك. لتشغيل منصة Opik محلياً، راجع دليل التثبيت لمزيد من المعلومات. في هذا الدليل سنستخدم مثال البدء السريع الخاص بـ CrewAI.
1

تثبيت الحزم المطلوبة

pip install crewai crewai-tools opik --upgrade
2

إعداد Opik

import opik
opik.configure(use_local=False)
3

إعداد البيئة

أولاً، نقوم بإعداد مفاتيح API لمزود LLM كمتغيرات بيئة:
import os
import getpass

if "OPENAI_API_KEY" not in os.environ:
os.environ["OPENAI_API_KEY"] = getpass.getpass("Enter your OpenAI API key: ")
4

استخدام CrewAI

الخطوة الأولى هي إنشاء مشروعنا. سنستخدم مثالاً من وثائق CrewAI:
from crewai import Agent, Crew, Task, Process


class YourCrewName:
    def agent_one(self) -> Agent:
        return Agent(
            role="Data Analyst",
            goal="Analyze data trends in the market",
            backstory="An experienced data analyst with a background in economics",
            verbose=True,
        )

    def agent_two(self) -> Agent:
        return Agent(
            role="Market Researcher",
            goal="Gather information on market dynamics",
            backstory="A diligent researcher with a keen eye for detail",
            verbose=True,
        )

    def task_one(self) -> Task:
        return Task(
            name="Collect Data Task",
            description="Collect recent market data and identify trends.",
            expected_output="A report summarizing key trends in the market.",
            agent=self.agent_one(),
        )

    def task_two(self) -> Task:
        return Task(
            name="Market Research Task",
            description="Research factors affecting market dynamics.",
            expected_output="An analysis of factors influencing the market.",
            agent=self.agent_two(),
        )

    def crew(self) -> Crew:
        return Crew(
            agents=[self.agent_one(), self.agent_two()],
            tasks=[self.task_one(), self.task_two()],
            process=Process.sequential,
            verbose=True,
        )

الآن يمكننا استيراد متتبع Opik وتشغيل الطاقم:
from opik.integrations.crewai import track_crewai

track_crewai(project_name="crewai-integration-demo")

my_crew = YourCrewName().crew()
result = my_crew.kickoff()

print(result)
بعد تشغيل تطبيق CrewAI، قم بزيارة تطبيق Opik لعرض:
  • تتبعات LLM والنطاقات وبياناتها الوصفية
  • تفاعلات الوكلاء وتدفق تنفيذ المهام
  • مقاييس الأداء مثل زمن الاستجابة واستخدام الرموز المميزة
  • مقاييس التقييم (مدمجة أو مخصصة)

الموارد