概览

这些工具可让你的智能体与网络交互、从网站提取数据，并自动执行基于浏览器的任务。从简单的网页抓取到复杂的浏览器自动化，这些工具覆盖了所有网页交互需求。

可用工具

网站抓取工具

通用网页抓取工具，可从任意网站提取内容。

元素抓取工具

以高精度抓取能力锁定网页上的特定元素。

Firecrawl 爬取工具

使用 Firecrawl 的强大引擎系统化爬取整个网站。

Firecrawl 抓取工具

借助 Firecrawl 的高级能力进行高性能网页抓取。

Firecrawl 搜索工具

使用 Firecrawl 的搜索功能搜索并提取特定内容。

Selenium 抓取工具

使用 Selenium WebDriver 进行浏览器自动化和抓取。

ScrapFly 工具

使用 ScrapFly 的高级抓取服务进行专业网页抓取。

ScrapGraph 工具

面向复杂数据关系的图结构网页抓取。

Spider 工具

提供全面的网页爬取和数据提取能力。

BrowserBase 工具

基于云的浏览器自动化，依托 BrowserBase 基础设施。

HyperBrowser 工具

借助 HyperBrowser 优化引擎快速进行浏览器交互。

Stagehand 工具

使用自然语言命令进行智能浏览器自动化。

Oxylabs 抓取器工具

使用 Oxylabs 大规模访问网页数据。

Bright Data 工具

SERP 搜索、Web Unlocker 以及 Dataset API 集成。

常见用例

数据提取：抓取产品信息、价格和评论
内容监控：跟踪网站和新闻来源的变化
线索挖掘：提取联系方式和商业数据
市场研究：收集竞争情报和市场数据
测试与 QA：自动化浏览器测试和验证工作流
社交媒体：提取帖子、评论和社交媒体分析数据

快速开始示例

from crewai_tools import ScrapeWebsiteTool, FirecrawlScrapeWebsiteTool, SeleniumScrapingTool

# 创建抓取工具
simple_scraper = ScrapeWebsiteTool()
advanced_scraper = FirecrawlScrapeWebsiteTool()
browser_automation = SeleniumScrapingTool()

# 添加到你的智能体
agent = Agent(
    role="网页研究专家",
    tools=[simple_scraper, advanced_scraper, browser_automation],
    goal="高效提取并分析网页数据"
)

抓取最佳实践

尊重 robots.txt：始终检查并遵守网站抓取政策
限速：在请求之间加入延迟，避免给服务器造成过大压力
User Agent：使用合适的 user agent 字符串来标识你的机器人
法律合规：确保抓取活动符合服务条款
错误处理：为网络问题和被阻止的请求实现稳健的错误处理
数据质量：在处理前验证并清理提取的数据

工具选择指南

简单任务：使用 ScrapeWebsiteTool 进行基础内容提取
大量 JavaScript 的站点：使用 SeleniumScrapingTool 处理动态内容
规模与性能：使用 FirecrawlScrapeWebsiteTool 执行高吞吐量抓取
云基础设施：使用 BrowserBaseLoadTool 实现可扩展的浏览器自动化
复杂工作流：使用 StagehandTool 进行智能浏览器交互