​
Visão Geral do OpenLIT

OpenLIT é uma ferramenta open-source que simplifica o monitoramento de desempenho de agentes de IA, LLMs, VectorDBs e GPUs com apenas uma linha de código. Ela oferece rastreamento e métricas nativos do OpenTelemetry para acompanhar parâmetros importantes como custo, latência, interações e sequências de tarefas. Essa configuração permite acompanhar hiperparâmetros e monitorar problemas de desempenho, ajudando a encontrar formas de aprimorar e refinar seus agentes com o tempo.
Visão geral do uso de agentes, incluindo custo e tokensVisão geral dos rastreamentos e métricas otel do agenteVisão detalhada dos rastreamentos do agente

Painel do OpenLIT

​
Funcionalidades

  • Painel Analítico: Monitore a saúde e desempenho dos seus Agentes com dashboards detalhados que acompanham métricas, custos e interações dos usuários.
  • SDK de Observabilidade Nativo OpenTelemetry: SDKs neutros de fornecedor para enviar rastreamentos e métricas para suas ferramentas de observabilidade existentes como Grafana, DataDog e outros.
  • Rastreamento de Custos para Modelos Customizados e Ajustados: Adapte estimativas de custo para modelos específicos usando arquivos de precificação customizados para orçamentos precisos.
  • Painel de Monitoramento de Exceções: Identifique e solucione rapidamente problemas ao rastrear exceções comuns e erros por meio de um painel de monitoramento.
  • Conformidade e Segurança: Detecte ameaças potenciais como profanidade e vazamento de dados sensíveis (PII).
  • Detecção de Prompt Injection: Identifique possíveis injeções de código e vazamentos de segredos.
  • Gerenciamento de Chaves de API e Segredos: Gerencie suas chaves de API e segredos do LLM de forma centralizada e segura, evitando práticas inseguras.
  • Gerenciamento de Prompt: Gerencie e versiona prompts de Agente usando o PromptHub para acesso consistente e fácil entre os agentes.
  • Model Playground Teste e compare diferentes modelos para seus agentes CrewAI antes da implantação.

​
Instruções de Configuração

1

Implantar o OpenLIT

1

Clonar o Repositório do OpenLIT

git clone git@github.com:openlit/openlit.git
2

Iniciar o Docker Compose

A partir do diretório raiz do Repositório OpenLIT, execute o comando abaixo:
docker compose up -d
2

Instalar o SDK OpenLIT

pip install openlit
3

Inicializar o OpenLIT em Sua Aplicação

Adicione as duas linhas abaixo ao seu código de aplicação:
import openlit
openlit.init(otlp_endpoint="http://127.0.0.1:4318")
Exemplo de uso para monitoramento de um Agente CrewAI:
from crewai import Agent, Task, Crew, Process
import openlit

openlit.init(disable_metrics=True)
# Definir seus agentes
pesquisador = Agent(
    role="Pesquisador",
    goal="Realizar pesquisas e análises aprofundadas sobre IA e agentes de IA",
    backstory="Você é um pesquisador especialista em tecnologia, engenharia de software, IA e startups. Trabalha como freelancer e está atualmente pesquisando para um novo cliente.",
    allow_delegation=False,
    llm='command-r'
)


# Definir sua task
task = Task(
    description="Gere uma lista com 5 ideias interessantes para um artigo e escreva um parágrafo cativante para cada ideia, mostrando o potencial de um artigo completo sobre o tema. Retorne a lista de ideias com seus parágrafos e suas anotações.",
    expected_output="5 tópicos, cada um com um parágrafo e notas complementares.",
)

# Definir o agente gerente
gerente = Agent(
    role="Gerente de Projeto",
    goal="Gerenciar eficientemente a equipe e garantir a conclusão de tarefas de alta qualidade",
    backstory="Você é um gerente de projetos experiente, habilidoso em supervisionar projetos complexos e guiar equipes para o sucesso. Sua função é coordenar os esforços dos membros da equipe, garantindo que cada tarefa seja concluída no prazo e com o mais alto padrão.",
    allow_delegation=True,
    llm='command-r'
)

# Instanciar sua crew com um manager personalizado
crew = Crew(
    agents=[pesquisador],
    tasks=[task],
    manager_agent=gerente,
    process=Process.hierarchical,
)

# Iniciar o trabalho da crew
result = crew.kickoff()

print(result)
Consulte o repositório do SDK Python do OpenLIT para configurações e casos de uso avançados.
4

Visualizar e Analisar

Com os dados de Observabilidade dos Agentes agora sendo coletados e enviados ao OpenLIT, o próximo passo é visualizar e analisar esses dados para obter insights sobre o desempenho, comportamento e identificar oportunidades de melhoria dos seus Agentes.Basta acessar o OpenLIT em 127.0.0.1:3000 no seu navegador para começar a explorar. Você pode fazer login usando as credenciais padrão
  • Email: user@openlit.io
  • Senha: openlituser
Visão geral do uso de agentes, incluindo custo e tokensVisão geral dos rastreamentos e métricas otel do agente

Painel do OpenLIT