网站抓取

`ScrapeWebsiteTool`

描述

一个用于提取并读取指定网站内容的工具。它通过发送 HTTP 请求并解析接收到的 HTML 内容，能够处理各种类型的网页。
这个工具在网页抓取、数据收集或从网站中提取特定信息的任务中都非常有用。

安装

安装 crewai_tools 包

pip install 'crewai[tools]'

示例

from crewai_tools import ScrapeWebsiteTool

# 允许在执行过程中抓取遇到的任意网站
tool = ScrapeWebsiteTool()

# 使用网站 URL 初始化工具，
# 这样智能体只能抓取指定网站的内容
tool = ScrapeWebsiteTool(website_url='https://www.example.com')

# 从网站中提取文本
text = tool.run()
print(text)

参数

参数	类型	描述
website_url	`string`	必需。要读取的文件对应的网站 URL。这是工具的主要输入，用于指定应抓取并读取哪个网站的内容。