الانتقال إلى المحتوى الرئيسي

نظرة عامة على OpenLIT

OpenLIT هو أداة مفتوحة المصدر تجعل من السهل مراقبة أداء وكلاء الذكاء الاصطناعي ونماذج LLM وقواعد بيانات المتجهات ووحدات GPU بسطر واحد فقط من الكود. يوفر تتبعاً ومقاييس أصلية لـ OpenTelemetry لتتبع المعلمات المهمة مثل التكلفة وزمن الاستجابة والتفاعلات وتسلسل المهام. يمكّنك هذا الإعداد من تتبع المعلمات الفائقة ومراقبة مشكلات الأداء، مما يساعدك في إيجاد طرق لتحسين وضبط وكلائك بمرور الوقت.
Overview Agent usage including cost and tokensOverview of agent otel traces and metricsOverview of agent traces in details

الميزات

  • لوحة معلومات التحليلات: راقب صحة وأداء وكلائك من خلال لوحات معلومات تفصيلية تتتبع المقاييس والتكاليف وتفاعلات المستخدمين.
  • SDK مراقبة أصلي لـ OpenTelemetry: حزم SDK محايدة للمورد لإرسال التتبعات والمقاييس إلى أدوات المراقبة الحالية مثل Grafana وDataDog وغيرها.
  • تتبع التكاليف للنماذج المخصصة والمعدّلة: خصّص تقديرات التكلفة لنماذج محددة باستخدام ملفات تسعير مخصصة لوضع ميزانية دقيقة.
  • لوحة مراقبة الاستثناءات: اكتشف وحل المشكلات بسرعة من خلال تتبع الاستثناءات والأخطاء الشائعة بلوحة مراقبة.
  • الامتثال والأمان: اكتشف التهديدات المحتملة مثل الألفاظ البذيئة وتسريبات المعلومات الشخصية.
  • كشف حقن الموجهات: حدد حقن الكود المحتمل وتسريبات الأسرار.
  • إدارة مفاتيح API والأسرار: تعامل مع مفاتيح API لنماذج LLM وأسرارك مركزياً بأمان، مع تجنب الممارسات غير الآمنة.
  • إدارة الموجهات: أدر وأصدر موجهات الوكلاء باستخدام PromptHub للوصول المتسق والسهل عبر الوكلاء.
  • ساحة تجربة النماذج: اختبر وقارن نماذج مختلفة لوكلاء CrewAI قبل النشر.

تعليمات الإعداد

1

نشر OpenLIT

1

استنساخ مستودع OpenLIT

git clone git@github.com:openlit/openlit.git
2

بدء Docker Compose

من المجلد الجذري لـ مستودع OpenLIT، شغّل الأمر التالي:
docker compose up -d
2

تثبيت SDK الخاص بـ OpenLIT

pip install openlit
3

تهيئة OpenLIT في تطبيقك

أضف السطرين التاليين إلى كود تطبيقك:
import openlit
openlit.init(otlp_endpoint="http://127.0.0.1:4318")
مثال على الاستخدام لمراقبة وكيل CrewAI:
from crewai import Agent, Task, Crew, Process
import openlit

openlit.init(disable_metrics=True)
# Define your agents
researcher = Agent(
    role="Researcher",
    goal="Conduct thorough research and analysis on AI and AI agents",
    backstory="You're an expert researcher, specialized in technology, software engineering, AI, and startups. You work as a freelancer and are currently researching for a new client.",
    allow_delegation=False,
    llm='command-r'
)


# Define your task
task = Task(
    description="Generate a list of 5 interesting ideas for an article, then write one captivating paragraph for each idea that showcases the potential of a full article on this topic. Return the list of ideas with their paragraphs and your notes.",
    expected_output="5 bullet points, each with a paragraph and accompanying notes.",
)

# Define the manager agent
manager = Agent(
    role="Project Manager",
    goal="Efficiently manage the crew and ensure high-quality task completion",
    backstory="You're an experienced project manager, skilled in overseeing complex projects and guiding teams to success. Your role is to coordinate the efforts of the crew members, ensuring that each task is completed on time and to the highest standard.",
    allow_delegation=True,
    llm='command-r'
)

# Instantiate your crew with a custom manager
crew = Crew(
    agents=[researcher],
    tasks=[task],
    manager_agent=manager,
    process=Process.hierarchical,
)

# Start the crew's work
result = crew.kickoff()

print(result)
راجع مستودع Python SDK الخاص بـ OpenLIT لمزيد من الإعدادات المتقدمة وحالات الاستخدام.
4

العرض والتحليل

مع جمع بيانات مراقبة الوكلاء وإرسالها إلى OpenLIT، الخطوة التالية هي عرض وتحليل هذه البيانات للحصول على رؤى حول أداء وكيلك وسلوكه وتحديد مجالات التحسين.ما عليك سوى التوجه إلى OpenLIT على 127.0.0.1:3000 في متصفحك لبدء الاستكشاف. يمكنك تسجيل الدخول باستخدام بيانات الاعتماد الافتراضية
  • البريد الإلكتروني: user@openlit.io
  • كلمة المرور: openlituser
Overview Agent usage including cost and tokensOverview of agent otel traces and metrics