Hyperbrowser 加载工具

HyperbrowserLoadTool

描述

HyperbrowserLoadTool 支持使用 Hyperbrowser 进行网页抓取和爬取。Hyperbrowser 是一个用于运行和扩展无头浏览器的平台。该工具可让你抓取单个页面或爬取整个网站，并以格式良好的 Markdown 或 HTML 返回内容。

主要特性：

• 即时扩展 - 无需基础设施麻烦即可在几秒钟内启动数百个浏览器会话
• 简单集成 - 与 Puppeteer 和 Playwright 等流行工具无缝协作
• 强大 API - 易于使用的 API，可抓取/爬取任意站点
• 绕过反机器人措施 - 内置隐身模式、广告拦截、自动验证码解决和轮换代理

安装

要使用此工具，你需要安装 Hyperbrowser SDK：

uv add hyperbrowser

入门步骤

要有效使用 HyperbrowserLoadTool，请按以下步骤进行：

1. 注册：前往 Hyperbrowser 注册并生成 API key。
2. API Key：设置 HYPERBROWSER_API_KEY 环境变量，或在工具构造函数中直接传入。
3. 安装 SDK：使用上面的命令安装 Hyperbrowser SDK。

示例

下面示例演示如何初始化工具并使用它抓取网站：

from crewai_tools import HyperbrowserLoadTool
from crewai import Agent

# 使用你的 API key 初始化工具
tool = HyperbrowserLoadTool(api_key="your_api_key")  # 或使用环境变量

# 定义一个使用该工具的智能体
@agent
def web_researcher(self) -> Agent:
    '''
    该智能体使用 HyperbrowserLoadTool 抓取网站并提取信息。
    '''
    return Agent(
        config=self.agents_config["web_researcher"],
        tools=[tool]
    )

参数

HyperbrowserLoadTool 接受以下参数：

构造参数

• api_key：可选。你的 Hyperbrowser API key。如果未提供，将从 HYPERBROWSER_API_KEY 环境变量中读取。

运行参数

• url：必需。要抓取或爬取的网站 URL。
• operation：可选。要在网站上执行的操作。可以是 ‘scrape’ 或 ‘crawl’。默认值为 ‘scrape’。
• params：可选。抓取或爬取操作的附加参数。

支持的参数

关于所有支持参数的详细信息，请访问：

• 抓取参数
• 爬取参数

返回格式

工具会按以下格式返回内容：

• 对于 scrape 操作：页面内容，格式为 markdown 或 HTML。
• 对于 crawl 操作：每个页面的内容以分隔符分开，并包含每个页面的 URL。

结论

HyperbrowserLoadTool 提供了一种强大的方式来抓取和爬取网站，能够处理反机器人措施、验证码等复杂场景。借助 Hyperbrowser 平台，该工具可让智能体高效访问并提取网页内容。