Bright Data 工具

Bright Data 工具

这组工具集成了 Bright Data 服务，用于网页提取。

安装

uv add crewai-tools requests aiohttp

环境变量

• BRIGHT_DATA_API_KEY（必需）
• BRIGHT_DATA_ZONE（用于 SERP/Web Unlocker）

在 https://brightdata.com/ 创建凭证（注册后创建 API token 和 zone）。
文档见：https://developers.brightdata.com/

包含的工具

• BrightDataSearchTool：SERP 搜索（Google/Bing/Yandex），支持地理位置/语言/设备选项。
• BrightDataWebUnlockerTool：使用反爬绕过和渲染来抓取页面。
• BrightDataDatasetTool：运行 Dataset API 任务并获取结果。

示例

SERP 搜索

from crewai_tools import BrightDataSearchTool

tool = BrightDataSearchTool(
    query="CrewAI",
    country="us",
)

print(tool.run())

Web Unlocker

from crewai_tools import BrightDataWebUnlockerTool

tool = BrightDataWebUnlockerTool(
    url="https://example.com",
    format="markdown",
)

print(tool.run(url="https://example.com"))

Dataset API

from crewai_tools import BrightDataDatasetTool

tool = BrightDataDatasetTool(
    dataset_type="ecommerce",
    url="https://example.com/product",
)

print(tool.run())

故障排查

• 401/403：验证 BRIGHT_DATA_API_KEY 和 BRIGHT_DATA_ZONE。
• 内容为空或被阻止：启用渲染或尝试其他 zone。

示例

from crewai import Agent, Task, Crew
from crewai_tools import BrightDataSearchTool

tool = BrightDataSearchTool(
    query="CrewAI",
    country="us",
)

agent = Agent(
    role="Web Researcher",
    goal="使用 Bright Data 搜索",
    backstory="能找到可靠结果",
    tools=[tool],
    verbose=True,
)

task = Task(
    description="搜索 CrewAI 并总结前几条结果",
    expected_output="带链接的简短摘要",
    agent=agent,
)

crew = Crew(
    agents=[agent],
    tasks=[task],
    verbose=True,
)

result = crew.kickoff()