Usando Agentes Multimodais

Usando Agentes Multimodais

O CrewAI suporta agentes multimodais que podem processar tanto conteúdo textual quanto não textual, como imagens. Este guia mostrará como habilitar e utilizar capacidades multimodais em seus agentes.

Habilitando Capacidades Multimodais

Para criar um agente multimodal, basta definir o parâmetro multimodal como True ao inicializar seu agente:

from crewai import Agent

agent = Agent(
    role="Image Analyst",
    goal="Analyze and extract insights from images",
    backstory="An expert in visual content interpretation with years of experience in image analysis",
    multimodal=True  # This enables multimodal capabilities
)

Ao definir multimodal=True, o agente é automaticamente configurado com as ferramentas necessárias para lidar com conteúdo não textual, incluindo a AddImageTool.

Trabalhando com Imagens

O agente multimodal vem pré-configurado com a AddImageTool, permitindo que ele processe imagens. Não é necessário adicionar esta ferramenta manualmente – ela é automaticamente incluída ao habilitar capacidades multimodais.

Aqui está um exemplo completo mostrando como usar um agente multimodal para analisar uma imagem:

from crewai import Agent, Task, Crew

# Create a multimodal agent
image_analyst = Agent(
    role="Product Analyst",
    goal="Analyze product images and provide detailed descriptions",
    backstory="Expert in visual product analysis with deep knowledge of design and features",
    multimodal=True
)

# Create a task for image analysis
task = Task(
    description="Analyze the product image at https://example.com/product.jpg and provide a detailed description",
    expected_output="A detailed description of the product image",
    agent=image_analyst
)

# Create and run the crew
crew = Crew(
    agents=[image_analyst],
    tasks=[task]
)

result = crew.kickoff()

Uso Avançado com Contexto

Você pode fornecer contexto adicional ou perguntas específicas sobre a imagem ao criar tarefas para agentes multimodais. A descrição da tarefa pode incluir aspectos específicos nos quais você deseja que o agente foque:

from crewai import Agent, Task, Crew

# Create a multimodal agent for detailed analysis
expert_analyst = Agent(
    role="Visual Quality Inspector",
    goal="Perform detailed quality analysis of product images",
    backstory="Senior quality control expert with expertise in visual inspection",
    multimodal=True  # AddImageTool is automatically included
)

# Create a task with specific analysis requirements
inspection_task = Task(
    description="""
    Analyze the product image at https://example.com/product.jpg with focus on:
    1. Quality of materials
    2. Manufacturing defects
    3. Compliance with standards
    Provide a detailed report highlighting any issues found.
    """,
    expected_output="A detailed report highlighting any issues found",
    agent=expert_analyst
)

# Create and run the crew
crew = Crew(
    agents=[expert_analyst],
    tasks=[inspection_task]
)

result = crew.kickoff()

Detalhes da Ferramenta

Ao trabalhar com agentes multimodais, a AddImageTool é automaticamente configurada com o seguinte esquema:

class AddImageToolSchema:
    image_url: str  # Required: The URL or path of the image to process
    action: Optional[str] = None  # Optional: Additional context or specific questions about the image

O agente multimodal irá automaticamente realizar o processamento de imagens por meio de suas ferramentas internas, permitindo que ele:

• Acesse imagens via URLs ou caminhos de arquivos locais
• Processe o conteúdo da imagem com contexto opcional ou perguntas específicas
• Forneça análises e insights com base nas informações visuais e requisitos da tarefa

Boas Práticas

Ao trabalhar com agentes multimodais, tenha em mente as seguintes boas práticas:

1. Acesso à Imagem

   • Certifique-se de que suas imagens estejam acessíveis via URLs alcançáveis pelo agente
   • Para imagens locais, considere hospedá-las temporariamente ou utilize caminhos absolutos
   • Verifique se as URLs das imagens são válidas e acessíveis antes de rodar as tarefas

2. Descrição da Tarefa

   • Seja específico sobre quais aspectos da imagem você deseja que o agente analise
   • Inclua perguntas ou requisitos claros na descrição da tarefa
   • Considere usar o parâmetro opcional action para uma análise focada

3. Gerenciamento de Recursos

   • O processamento de imagens pode exigir mais recursos computacionais do que tarefas apenas textuais
   • Alguns modelos de linguagem podem exigir codificação em base64 para dados de imagem
   • Considere o processamento em lote para múltiplas imagens visando otimizar o desempenho

4. Configuração do Ambiente

   • Verifique se seu ambiente possui as dependências necessárias para processamento de imagens
   • Certifique-se de que seu modelo de linguagem suporta capacidades multimodais
   • Teste primeiro com imagens pequenas para validar sua configuração

5. Tratamento de Erros

   • Implemente tratamento apropriado para falhas no carregamento de imagens
   • Tenha estratégias de contingência para casos onde o processamento de imagens falhar
   • Monitore e registre operações de processamento de imagens para depuração