메인 콘텐츠로 건너뛰기

MLflow 개요

MLflow는 머신러닝 실무자와 팀이 머신러닝 프로세스의 복잡성을 관리할 수 있도록 돕는 오픈소스 플랫폼입니다. MLflow는 귀하의 생성형 AI 애플리케이션에서 서비스 실행에 대한 상세 정보를 캡처하여 LLM 가시성을 향상시키는 트레이싱 기능을 제공합니다. 트레이싱은 요청의 각 중간 단계에 관련된 입력값, 출력값, 메타데이터를 기록하는 방법을 제공하여, 버그 및 예기치 않은 동작의 원인을 쉽게 찾아낼 수 있게 합니다. MLflow crewAI 트레이싱 사용 개요

기능

  • 트레이싱 대시보드: crewAI 에이전트의 활동을 입력값, 출력값, 스팬의 메타데이터와 함께 자세한 대시보드로 모니터링할 수 있습니다.
  • 자동 트레이싱: 완전 자동화된 crewAI 통합 기능으로, mlflow.crewai.autolog()를 실행하여 활성화할 수 있습니다.
  • 약간의 노력만으로 수동 추적 계측: 데코레이터, 함수 래퍼, 컨텍스트 매니저 등 MLflow의 고수준 fluent API를 통해 추적 계측을 커스터마이즈할 수 있습니다.
  • OpenTelemetry 호환성: MLflow Tracing은 OpenTelemetry Collector로 트레이스를 내보내는 것을 지원하며, 이를 통해 Jaeger, Zipkin, AWS X-Ray 등 다양한 백엔드로 트레이스를 내보낼 수 있습니다.
  • 에이전트 패키징 및 배포: crewAI 에이전트를 다양한 배포 대상으로 추론 서버에 패키징 및 배포할 수 있습니다.
  • LLM을 안전하게 호스팅: 여러 공급자의 LLM을 MFflow 게이트웨이를 통해 하나의 통합 엔드포인트에서 호스팅할 수 있습니다.
  • 평가: 편리한 API mlflow.evaluate()를 사용하여 다양한 지표로 crewAI 에이전트를 평가할 수 있습니다.

설치 안내

1

MLflow 패키지 설치

2

MLflow 추적 서버 시작

3

애플리케이션에서 MLflow 초기화

다음 두 줄을 애플리케이션 코드에 추가하세요:
CrewAI Agents 추적 예시 사용법:
더 많은 설정 및 사용 예시는 MLflow Tracing 문서를 참고하세요.
4

에이전트 활동 시각화

이제 crewAI agents의 추적 정보가 MLflow에서 캡처됩니다. MLflow 추적 서버에 접속하여 추적 내역을 확인하고 에이전트의 인사이트를 얻으세요.브라우저에서 127.0.0.1:5000을 열어 MLflow 추적 서버에 접속하세요.
MLflow tracing example with crewai