Hyperbrowser Load Tool

HyperbrowserLoadTool

Descrição

O HyperbrowserLoadTool permite realizar web scraping e crawling utilizando o Hyperbrowser, uma plataforma para executar e escalar browsers headless. Essa ferramenta possibilita extrair dados de uma única página ou rastrear um site inteiro, retornando o conteúdo em markdown ou HTML corretamente formatado.

Principais Características:

• Escalabilidade Instantânea – Inicie centenas de sessões de browser em segundos sem se preocupar com infraestrutura
• Integração Simples – Funciona perfeitamente com ferramentas populares como Puppeteer e Playwright
• APIs Poderosas – APIs fáceis de usar para scraping/crawling de qualquer site
• Supera Medidas Anti-Bot – Inclui modo stealth, bloqueio de anúncios, resolução automática de CAPTCHA e proxies rotativos

Instalação

Para utilizar esta ferramenta, você precisa instalar o SDK do Hyperbrowser:

uv add hyperbrowser

Passos para Começar

Para usar efetivamente o HyperbrowserLoadTool, siga estes passos:

1. Cadastre-se: Vá até o Hyperbrowser para criar uma conta e gerar uma chave de API.
2. Chave de API: Defina a variável de ambiente HYPERBROWSER_API_KEY ou passe-a diretamente no construtor da ferramenta.
3. Instale o SDK: Instale o SDK do Hyperbrowser usando o comando acima.

Exemplo

O exemplo a seguir demonstra como inicializar a ferramenta e utilizá-la para extrair dados de um site:

from crewai_tools import HyperbrowserLoadTool
from crewai import Agent

# Initialize the tool with your API key
tool = HyperbrowserLoadTool(api_key="your_api_key")  # Or use environment variable

# Define an agent that uses the tool
@agent
def web_researcher(self) -> Agent:
    '''
    This agent uses the HyperbrowserLoadTool to scrape websites
    and extract information.
    '''
    return Agent(
        config=self.agents_config["web_researcher"],
        tools=[tool]
    )

Parâmetros

O HyperbrowserLoadTool aceita os seguintes parâmetros:

Parâmetros do Construtor

• api_key: Opcional. Sua chave de API do Hyperbrowser. Se não fornecida, será lida da variável de ambiente HYPERBROWSER_API_KEY.

Parâmetros de Execução

• url: Obrigatório. A URL do site a ser extraído ou rastreado.
• operation: Opcional. A operação a ser realizada no site. Pode ser ‘scrape’ ou ‘crawl’. O padrão é ‘scrape’.
• params: Opcional. Parâmetros adicionais para a operação de scraping ou crawling.

Parâmetros Suportados

Para informações detalhadas sobre todos os parâmetros suportados, acesse:

• Parâmetros de Scrape
• Parâmetros de Crawl

Formato de Retorno

A ferramenta retorna o conteúdo nos seguintes formatos:

• Para operações scrape: O conteúdo da página no formato markdown ou HTML.
• Para operações crawl: O conteúdo de cada página separado por divisores, incluindo a URL de cada página.

Conclusão

O HyperbrowserLoadTool oferece uma maneira poderosa de realizar scraping e crawling em sites, lidando com cenários complexos como medidas anti-bot, CAPTCHAs e muito mais. Aproveitando a plataforma do Hyperbrowser, essa ferramenta permite que agentes acessem e extraiam conteúdo da web de forma eficiente.