​
소개

Observability는 대화형 AI 에이전트를 개발하고 배포하는 데 있어 핵심적인 요소입니다. 이는 개발자가 에이전트의 성능을 이해하고, 에이전트가 사용자와 어떻게 상호작용하는지, 그리고 에이전트가 외부 도구와 API를 어떻게 사용하는지를 파악할 수 있게 해줍니다.
AgentOps는 CrewAI와 독립적인 제품으로, 에이전트를 위한 종합적인 observability 솔루션을 제공합니다.

​
AgentOps

AgentOps은 에이전트에 대한 세션 리플레이, 메트릭, 모니터링을 제공합니다. AgentOps는 높은 수준에서 비용, 토큰 사용량, 대기 시간, 에이전트 실패, 세션 전체 통계 등 다양한 항목을 모니터링할 수 있는 기능을 제공합니다.
더 자세한 내용은 AgentOps Repo를 확인하세요.

​
개요

AgentOps는 개발 및 프로덕션 환경에서 에이전트에 대한 모니터링을 제공합니다.
에이전트 성능, 세션 리플레이, 맞춤형 리포팅을 추적할 수 있는 대시보드를 제공합니다. 또한, AgentOps는 Crew 에이전트 상호작용, LLM 호출, 툴 사용을 실시간으로 볼 수 있는 세션 드릴다운 기능을 제공합니다.
이 기능은 에이전트가 사용자 및 다른 에이전트와 어떻게 상호작용하는지 디버깅하고 이해하는 데 유용합니다. 선택된 에이전트 세션 실행 시리즈의 개요 에이전트 실행을 조사하기 위한 세션 드릴다운 개요 단계별 에이전트 리플레이 실행 그래프 보기

​
특징

  • LLM 비용 관리 및 추적: 기반 모델 공급자와의 지출을 추적합니다.
  • 재생 분석: 단계별 에이전트 실행 그래프를 시청할 수 있습니다.
  • 재귀적 사고 감지: 에이전트가 무한 루프에 빠졌는지 식별합니다.
  • 맞춤형 보고서: 에이전트 성능에 대한 맞춤형 분석을 생성합니다.
  • 분석 대시보드: 개발 및 운영 중인 에이전트에 대한 상위 수준 통계를 모니터링합니다.
  • 공개 모델 테스트: 벤치마크 및 리더보드를 통해 에이전트를 테스트할 수 있습니다.
  • 맞춤형 테스트: 도메인별 테스트로 에이전트를 실행합니다.
  • 타임 트래블 디버깅: 체크포인트에서 세션을 재시작합니다.
  • 컴플라이언스 및 보안: 감사 로그를 생성하고 욕설 및 PII 유출과 같은 잠재적 위협을 감지합니다.
  • 프롬프트 인젝션 감지: 잠재적 코드 인젝션 및 시크릿 유출을 식별합니다.

​
AgentOps 사용하기

1

API 키 생성

사용자 API 키를 여기서 생성하세요: API 키 생성
2

환경 설정

API 키를 환경 변수에 추가하세요:
AGENTOPS_API_KEY=<YOUR_AGENTOPS_API_KEY>
3

AgentOps 설치

다음 명령어로 AgentOps를 설치하세요:
pip install 'crewai[agentops]'
또는
pip install agentops
4

AgentOps 초기화

스크립트에서 Crew를 사용하기 전에 다음 코드를 포함하세요:
import agentops
agentops.init()
이렇게 하면 AgentOps 세션이 시작되고 Crew 에이전트가 자동으로 추적됩니다. 더 복잡한 agentic 시스템을 구성하는 방법에 대한 자세한 정보는 AgentOps 문서 또는 Discord를 참조하세요.

​
Crew + AgentOps 예시

Job Posting

채용 공고를 생성하는 Crew agent의 예시입니다.

Markdown Validator

Markdown 파일을 검증하는 Crew agent의 예시입니다.

Instagram Post

Instagram 게시물을 생성하는 Crew agent의 예시입니다.

​
추가 정보

시작하려면 AgentOps 계정을 생성하세요. 기능 요청이나 버그 보고가 필요하시면 AgentOps Repo에서 AgentOps 팀에 문의해 주세요.

​
추가 링크

🐦 트위터   •   📢 디스코드   •   🖇️ AgentOps 대시보드   •   📙 문서화