지정된 웹사이트의 내용을 추출하고 읽을 수 있도록 설계된 도구입니다. 이 도구는 HTTP 요청을 보내고 수신된 HTML 콘텐츠를 파싱함으로써 다양한 유형의 웹 페이지를 처리할 수 있습니다.
이 도구는 웹 스크래핑 작업, 데이터 수집 또는 웹사이트에서 특정 정보를 추출하는 데 특히 유용할 수 있습니다.
from crewai_tools import ScrapeWebsiteTool# 실행 중에 찾은 모든 웹사이트를 스크랩할 수 있도록 활성화tool = ScrapeWebsiteTool()# 웹사이트 URL로 도구를 초기화하여,# 에이전트가 지정된 웹사이트의 콘텐츠만 스크랩할 수 있도록 합니다tool = ScrapeWebsiteTool(website_url='https://www.example.com')# 사이트에서 텍스트 추출text = tool.run()print(text)
