메인 콘텐츠로 건너뛰기

Braintrust 통합

이 가이드는 BraintrustCrewAI와 OpenTelemetry를 사용하여 포괄적인 추적 및 평가와 함께 통합하는 방법을 보여줍니다. 이 가이드를 완료하면 CrewAI agent를 추적하고, 성능을 모니터링하며, Braintrust의 강력한 관찰성 플랫폼을 사용하여 출력을 평가할 수 있습니다.
Braintrust란? Braintrust는 내장된 실험 추적 및 성능 분석을 통해 AI 애플리케이션에 대한 포괄적인 추적, 평가 및 모니터링을 제공하는 AI 평가 및 관찰성 플랫폼입니다.

시작하기

CrewAI를 사용하고 포괄적인 관찰성 및 평가를 위해 OpenTelemetry를 통해 Braintrust와 통합하는 간단한 예제를 단계별로 안내합니다.

1단계: 의존성 설치

2단계: 환경 변수 설정

Braintrust API 키를 설정하고 추적을 Braintrust로 전송하도록 OpenTelemetry를 구성합니다. Braintrust API 키와 OpenAI API 키가 필요합니다.

3단계: Braintrust와 함께 OpenTelemetry 초기화하기

추적을 캡처하고 Braintrust로 전송하기 시작하도록 Braintrust OpenTelemetry 계측을 초기화합니다.

4단계: CrewAI 애플리케이션 생성하기

포괄적인 추적이 활성화된 CrewAI 애플리케이션을 생성합니다.

5단계: Braintrust에서 추적 보기

crew를 실행한 후, Braintrust에서 다양한 관점으로 포괄적인 추적을 볼 수 있습니다:
Braintrust Trace View

6단계: SDK를 통한 평가 (실험)

Braintrust의 Eval SDK를 사용하여 평가를 실행할 수도 있습니다. 이는 버전을 비교하거나 출력을 오프라인으로 점수화하는 데 유용합니다. 아래는 위에서 생성한 crew를 사용하는 Python 예제입니다:
API 키를 설정하고 실행:
자세한 내용은 Braintrust Eval SDK 가이드를 참조하세요.

Braintrust 통합의 주요 기능

  • 포괄적인 추적: 모든 agent 상호작용, 도구 사용 및 LLM 호출 추적
  • 성능 모니터링: 실행 시간, 토큰 사용량 및 성공률 모니터링
  • 실험 추적: 다른 crew 구성 및 모델 비교
  • 자동화된 평가: crew 출력에 대한 사용자 정의 평가 메트릭 설정
  • 오류 추적: crew 실행 전반에 걸친 실패 모니터링 및 디버깅
  • 비용 분석: 토큰 사용량 및 관련 비용 추적

버전 호환성 정보

  • Python 3.8+
  • CrewAI >= 0.86.0
  • Braintrust >= 0.1.0
  • OpenTelemetry SDK >= 1.31.0

참고 자료