핵심 개념
테스트
CrewAI Crew를 테스트하고 그 성능을 평가하는 방법을 알아보세요.
개요
테스트는 개발 프로세스에서 매우 중요한 부분이며, crew가 예상대로 동작하는지 확인하는 것이 필수적입니다. crewAI를 사용하면 내장된 테스트 기능을 통해 crew를 쉽게 테스트하고 성능을 평가할 수 있습니다.테스트 기능 사용하기
CLI 명령어crewai test를 추가하여 crew 테스트를 쉽게 할 수 있습니다. 이 명령어는 지정한 반복 횟수만큼 crew를 실행하고, 자세한 성능 지표를 제공합니다. 매개변수로는 n_iterations와 model이 있으며, 이들은 선택 사항이고 각각 기본값은 2와 gpt-4o-mini입니다. 현재는 OpenAI만 지원됩니다.
crewai test 명령어를 실행하면 crew가 지정한 횟수만큼 실행되고, 수행이 끝나면 성능 지표가 표시됩니다.
실행 마지막에 표시되는 점수 표는 다음과 같은 지표로 crew의 성능을 보여줍니다:
| Tasks/Crew/Agents | Run 1 | Run 2 | Avg. Total | Agents | Additional Info |
|---|---|---|---|---|---|
| Task 1 | 9.0 | 9.5 | 9.2 | Professional Insights | |
| Researcher | |||||
| Task 2 | 9.0 | 10.0 | 9.5 | Company Profile Investigator | |
| Task 3 | 9.0 | 9.0 | 9.0 | Automation Insights | |
| Specialist | |||||
| Task 4 | 9.0 | 9.0 | 9.0 | Final Report Compiler | Automation Insights Specialist |
| Crew | 9.00 | 9.38 | 9.2 | ||
| Execution Time (s) | 126 | 145 | 135 |