CrewAI를 LLM에 연결하기
CrewAI는 LiteLLM을 사용하여 다양한 언어 모델(LLM)에 연결합니다. 이 통합은 높은 다양성을 제공하여, 여러 공급자의 모델을 간단하고 통합된 인터페이스로 사용할 수 있게 해줍니다.기본적으로 CrewAI는
gpt-4o-mini
모델을 사용합니다. 이는 OPENAI_MODEL_NAME
환경 변수에 의해 결정되며, 설정되지 않은 경우 기본값은 “gpt-4o-mini”입니다.
본 가이드에 설명된 대로 다른 모델이나 공급자를 사용하도록 에이전트를 쉽게 설정할 수 있습니다.지원되는 프로바이더
LiteLLM은 다음을 포함하되 이에 국한되지 않는 다양한 프로바이더를 지원합니다:- OpenAI
- Anthropic
- Google (Vertex AI, Gemini)
- Azure OpenAI
- AWS (Bedrock, SageMaker)
- Cohere
- VoyageAI
- Hugging Face
- Ollama
- Mistral AI
- Replicate
- Together AI
- AI21
- Cloudflare Workers AI
- DeepInfra
- Groq
- SambaNova
- Nebius AI Studio
- NVIDIA NIMs
- 그리고 더 많은 프로바이더!
LLM 변경하기
CrewAI agent에서 다른 LLM을 사용하려면 여러 가지 방법이 있습니다:agent를 초기화할 때 모델 이름을 문자열로 전달하세요:
구성 옵션
에이전트를 위해 LLM을 구성할 때 다양한 매개변수를 사용할 수 있습니다:매개변수 | 유형 | 설명 |
---|---|---|
model | str | 사용할 모델의 이름 (예: “gpt-4”, “claude-2”) |
temperature | float | 출력의 무작위성 제어 (0.0 ~ 1.0) |
max_tokens | int | 생성할 최대 토큰 수 |
top_p | float | 출력 다양성 제어 (0.0 ~ 1.0) |
frequency_penalty | float | 지금까지의 텍스트에서 빈도에 따라 새로운 토큰에 패널티 부여 |
presence_penalty | float | 지금까지의 텍스트에 이미 존재하는지에 따라 새로운 토큰에 패널티 부여 |
stop | str , List[str] | 생성을 중단할 시퀀스(들) |
base_url | str | API 엔드포인트의 기본 URL |
api_key | str | 인증용 API 키 |
OpenAI 호환 LLM에 연결하기
OpenAI 호환 LLM에 연결하려면 환경 변수를 사용하거나 LLM 클래스에서 특정 속성을 설정할 수 있습니다:Ollama와 함께 로컬 모델 사용하기
Ollama에서 제공하는 로컬 모델의 경우:1
Ollama 다운로드 및 설치
2
원하는 모델 가져오기
예를 들어,
ollama pull llama3.2
를 실행하여 모델을 다운로드합니다.3
에이전트 구성
기본 API URL 변경하기
어떤 LLM provider든base_url
파라미터를 설정하여 기본 API URL을 변경할 수 있습니다:
Code