메인 콘텐츠로 건너뛰기
LLM 호출 훅(LLM Call Hooks)은 에이전트 실행 중 언어 모델 상호작용에 대한 세밀한 제어를 제공합니다. 이러한 훅을 사용하면 LLM 호출을 가로채고, 프롬프트를 수정하고, 응답을 변환하고, 승인 게이트를 구현하고, 사용자 정의 로깅 또는 모니터링을 추가할 수 있습니다.

개요

LLM 훅은 두 가지 중요한 시점에 실행됩니다:
  • LLM 호출 전: 메시지 수정, 입력 검증 또는 실행 차단
  • LLM 호출 후: 응답 변환, 출력 정제 또는 대화 기록 수정

훅 타입

LLM 호출 전 훅

모든 LLM 호출 전에 실행되며, 다음을 수행할 수 있습니다:
  • LLM에 전송되는 메시지 검사 및 수정
  • 조건에 따라 LLM 실행 차단
  • 속도 제한 또는 승인 게이트 구현
  • 컨텍스트 또는 시스템 메시지 추가
  • 요청 세부사항 로깅
시그니처:

LLM 호출 후 훅

모든 LLM 호출 후에 실행되며, 다음을 수행할 수 있습니다:
  • LLM 응답 수정 또는 정제
  • 메타데이터 또는 서식 추가
  • 응답 세부사항 로깅
  • 대화 기록 업데이트
  • 콘텐츠 필터링 구현
시그니처:

LLM 훅 컨텍스트

LLMCallHookContext 객체는 실행 상태에 대한 포괄적인 액세스를 제공합니다:

메시지 수정

중요: 항상 메시지를 제자리에서 수정하세요:

등록 방법

1. 데코레이터 기반 등록 (권장)

더 깔끔한 구문을 위해 데코레이터를 사용합니다:

2. 크루 범위 훅

특정 크루 인스턴스에 대한 훅을 등록합니다:

일반적인 사용 사례

1. 반복 제한

2. 사람의 승인 게이트

3. 시스템 컨텍스트 추가

4. 응답 정제

5. 비용 추적

6. 디버그 로깅

훅 관리

훅 등록 해제

훅 지우기

고급 패턴

조건부 훅 실행

컨텍스트 인식 수정

훅 체이닝

모범 사례

  1. 훅을 집중적으로 유지: 각 훅은 단일 책임을 가져야 합니다
  2. 무거운 계산 피하기: 훅은 모든 LLM 호출마다 실행됩니다
  3. 오류를 우아하게 처리: try-except를 사용하여 훅 실패로 인한 실행 중단 방지
  4. 타입 힌트 사용: 더 나은 IDE 지원을 위해 LLMCallHookContext 활용
  5. 훅 동작 문서화: 특히 차단 조건에 대해
  6. 훅을 독립적으로 테스트: 프로덕션에서 사용하기 전에 단위 테스트
  7. 테스트에서 훅 지우기: 테스트 실행 간 clear_all_llm_call_hooks() 사용
  8. 제자리에서 수정: 항상 context.messages를 제자리에서 수정하고 교체하지 마세요

오류 처리

타입 안전성

문제 해결

훅이 실행되지 않음

  • 크루 실행 전에 훅이 등록되었는지 확인
  • 이전 훅이 False를 반환했는지 확인 (후속 훅 차단)
  • 훅 시그니처가 예상 타입과 일치하는지 확인

메시지 수정이 지속되지 않음

  • 제자리 수정 사용: context.messages.append()
  • 리스트를 교체하지 마세요: context.messages = []

응답 수정이 작동하지 않음

  • 후 훅에서 수정된 문자열을 반환
  • None을 반환하면 원본 응답이 유지됩니다

결론

LLM 호출 훅은 CrewAI에서 언어 모델 상호작용을 제어하고 모니터링하는 강력한 기능을 제공합니다. 이를 사용하여 안전 가드레일, 승인 게이트, 로깅, 비용 추적 및 응답 정제를 구현하세요. 적절한 오류 처리 및 타입 안전성과 결합하면, 훅을 통해 강력하고 프로덕션 준비가 된 에이전트 시스템을 구축할 수 있습니다.