uv add braintrust[otel] crewai crewai-tools opentelemetry-instrumentation-openai opentelemetry-instrumentation-crewai python-dotenv

import os
from getpass import getpass

# Braintrust 자격 증명 가져오기
BRAINTRUST_API_KEY = getpass("🔑 Braintrust API 키를 입력하세요: ")

# 서비스용 API 키 가져오기
OPENAI_API_KEY = getpass("🔑 OpenAI API 키를 입력하세요: ")

# 환경 변수 설정
os.environ["BRAINTRUST_API_KEY"] = BRAINTRUST_API_KEY
os.environ["BRAINTRUST_PARENT"] = "project_name:crewai-demo"
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY

import os
from typing import Any, Dict

from braintrust.otel import BraintrustSpanProcessor
from crewai import Agent, Crew, Task
from crewai.llm import LLM
from opentelemetry import trace
from opentelemetry.instrumentation.crewai import CrewAIInstrumentor
from opentelemetry.instrumentation.openai import OpenAIInstrumentor
from opentelemetry.sdk.trace import TracerProvider

def setup_tracing() -> None:
    """Braintrust와 함께 OpenTelemetry 추적 설정."""
    current_provider = trace.get_tracer_provider()
    if isinstance(current_provider, TracerProvider):
        provider = current_provider
    else:
        provider = TracerProvider()
        trace.set_tracer_provider(provider)

    provider.add_span_processor(BraintrustSpanProcessor())
    CrewAIInstrumentor().instrument(tracer_provider=provider)
    OpenAIInstrumentor().instrument(tracer_provider=provider)


setup_tracing()

from crewai import Agent, Crew, Process, Task
from crewai_tools import SerperDevTool

def create_crew() -> Crew:
    """포괄적인 추적을 위한 다중 agent가 있는 crew 생성."""
    llm = LLM(model="gpt-4o-mini")
    search_tool = SerperDevTool()

    # 특정 역할을 가진 agent 정의
    researcher = Agent(
        role="시니어 연구 분석가",
        goal="AI 및 데이터 과학의 최첨단 발전 사항 발견",
        backstory="""당신은 최고 수준의 기술 싱크탱크에서 근무합니다.
        새로운 트렌드를 식별하는 데 전문성이 있습니다.
        복잡한 데이터를 분석하고 실행 가능한 인사이트로 제시하는 데 뛰어납니다.""",
        verbose=True,
        allow_delegation=False,
        llm=llm,
        tools=[search_tool],
    )

    writer = Agent(
        role="기술 콘텐츠 전략가",
        goal="기술 발전에 대한 매력적인 콘텐츠 작성",
        backstory="""당신은 통찰력 있고 흥미로운 기사로 유명한 콘텐츠 전략가입니다.
        복잡한 개념을 매력적인 스토리로 전환합니다.""",
        verbose=True,
        allow_delegation=True,
        llm=llm,
    )

    # agent를 위한 작업 생성
    research_task = Task(
        description="""{topic} 분야의 최신 발전 상황에 대한 포괄적인 분석을 수행하세요.
        주요 트렌드, 획기적 기술, 산업에 미칠 잠재적 영향을 식별하세요.""",
        expected_output="주요 내용을 불릿 포인트로 정리한 전체 분석 보고서",
        agent=researcher,
    )

    writing_task = Task(
        description="""제공된 인사이트를 활용하여
        가장 중요한 {topic} 발전 내용을 강조하는 흥미로운 블로그 글을 작성하세요.
        글은 정보성 있고, 기술에 밝은 독자를 대상으로 하면서 읽기 쉽게 써야 합니다.
        멋지게 들리도록 쓰되, 복잡한 단어는 피하여 AI처럼 들리지 않게 하세요.""",
        expected_output="최소 4개의 단락으로 구성된 전체 블로그 글",
        agent=writer,
        context=[research_task],
    )

    # 순차 프로세스 방식으로 crew 인스턴스화
    crew = Crew(
        agents=[researcher, writer], 
        tasks=[research_task, writing_task], 
        verbose=True, 
        process=Process.sequential
    )

    return crew

def run_crew():
    """crew를 실행하고 결과 반환."""
    crew = create_crew()
    result = crew.kickoff(inputs={"topic": "AI 발전"})
    return result

# crew 실행
if __name__ == "__main__":
    # 이 모듈에서 계측이 이미 초기화됨
    result = run_crew()
    print(result)

from braintrust import Eval
from autoevals import Levenshtein

def evaluate_crew_task(input_data):
    """crew를 평가하기 위해 감싸는 작업 함수."""
    crew = create_crew()
    result = crew.kickoff(inputs={"topic": input_data["topic"]})
    return str(result)

Eval(
    "AI 연구 Crew",  # 프로젝트 이름
    {
        "data": lambda: [
            {"topic": "artificial intelligence trends 2024"},
            {"topic": "machine learning breakthroughs"},
            {"topic": "AI ethics and governance"},
        ],
        "task": evaluate_crew_task,
        "scores": [Levenshtein],
    },
)

export BRAINTRUST_API_KEY="YOUR_API_KEY"
braintrust eval eval_crew.py