Weave 개요
Weights & Biases (W&B) Weave는 LLM 기반 애플리케이션을 추적, 실험, 평가, 배포 및 개선하기 위한 프레임워크입니다.
- 트레이싱 및 모니터링: LLM 호출과 애플리케이션 로직을 자동으로 추적하여 프로덕션 시스템을 디버그하고 분석
- 체계적인 반복: prompt, 데이터셋, 모델을 개선하고 반복
- 평가: 맞춤형 또는 사전 구축된 스코어러를 사용하여 agent 성능을 체계적으로 평가하고 향상
- 가드레일: 콘텐츠 모더레이션과 prompt 안전성을 위한 사전 및 사후 보호조치로 agent를 보호
설치 안내
1
필수 패키지 설치
2
W&B 계정 설정
Weights & Biases 계정에 가입하세요. 아직 계정이 없다면 가입이 필요합니다. 트레이스와 메트릭을 확인하려면 계정이 필요합니다.
3
애플리케이션에서 Weave 초기화
다음 코드를 애플리케이션에 추가하세요:초기화 후, Weave는 트레이스와 메트릭을 확인할 수 있는 URL을 제공합니다.
4
Crews/Flows 생성
5
Weave에서 트레이스 보기
CrewAI 애플리케이션 실행 후, 초기화 시 제공된 Weave URL에 방문하여 다음 항목을 확인할 수 있습니다:
- LLM 호출 및 그 메타데이터
- 에이전트 상호작용 및 작업 실행 흐름
- 대기 시간 및 토큰 사용량과 같은 성능 메트릭
- 실행 중 발생한 오류 또는 이슈

Weave 트레이싱 대시보드
특징
- Weave는 모든 CrewAI 작업을 자동으로 캡처합니다: agent 상호작용 및 태스크 실행; 메타데이터와 토큰 사용량을 포함한 LLM 호출; 도구 사용 및 결과.
- 이 통합은 모든 CrewAI 실행 메서드를 지원합니다:
kickoff()
,kickoff_for_each()
,kickoff_async()
, 그리고kickoff_for_each_async()
. - 모든 crewAI-tools 작업의 자동 추적.
- 데코레이터 패칭(
@start
,@listen
,@router
,@or_
,@and_
)을 통한 flow 기능 지원. @weave.op()
과 함께 CrewAITask
에 전달된 커스텀 guardrails 추적.