Web Scraping para Monitoramento de Preços

O web scraping é a tecnologia fundamental que permite à Kompara monitorar milhares de preços de concorrentes 24/7 sem intervenção manual. Neste artigo técnico, exploramos como funciona, quais desafios enfrenta e as melhores práticas para implementá-lo de forma ética.

O que é Web Scraping para Preços?

Web scraping (também conhecido como web harvesting ou web data extraction) é o processo automatizado de extração de informações estruturadas de sites. No contexto de monitoramento de preços, significa:

• Visitação automatizada de páginas de produtos de concorrentes
• Extração de dados como preço, disponibilidade, descrições
• Normalização e armazenamento de informações em bancos de dados
• Análise e comparação para gerar insights acionáveis

┌─────────────┐
│   Scheduler │  ← Programa visitas a cada hora
└──────┬──────┘
       │
       ▼
┌─────────────────────────────────────┐
│      Scraper Distribuído            │
│  ┌────────┐  ┌────────┐  ┌────────┐│
│  │Worker 1│  │Worker 2│  │Worker 3││  ← Múltiplos workers
│  └────────┘  └────────┘  └────────┘│     em paralelo
└──────────────┬──────────────────────┘
               │
               ▼
┌──────────────────────────────────────┐
│       Parser & Normalizer            │  ← Limpa e estrutura
└──────────────┬───────────────────────┘     os dados
               │
               ▼
┌──────────────────────────────────────┐
│        Database (PostgreSQL)         │  ← Armazena histórico
└──────────────┬───────────────────────┘
               │
               ▼
┌──────────────────────────────────────┐
│      Analytics Engine + AI           │  ← Gera insights
└──────────────────────────────────────┘
            

Tecnologias e Stack Técnico

Desafios Técnicos do Web Scraping

1. Detecção e Bloqueios Anti-Bot

Os sites de e-commerce modernos implementam múltiplas camadas de proteção:

2. Conteúdo JavaScript Dinâmico

Muitos sites modernos carregam preços via JavaScript após a renderização inicial:

// Exemplo: Preço carregado dinamicamente
fetch('/api/product/12345/price')
  .then(res => res.json())
  .then(data => {
    document.getElementById('price').textContent = data.price;
  });

Solução na Kompara:

• Uso de headless browsers (Playwright/Puppeteer)
• Espera inteligente até que elementos críticos estejam carregados
• Interceptação de requisições de API quando possível

3. Estrutura HTML Variável

Sites mudam seu HTML frequentemente, quebrando seletores:

selectors = [
    'span.price-now',           # Seletor principal
    'div.product-price span',   # Fallback 1
    '[data-price]',             # Fallback 2
    'meta[property="og:price"]' # Fallback 3
]

for selector in selectors:
    price = page.query_selector(selector)
    if price:
        return normalize_price(price.text)

Web Scraping Ético e Legal

Princípios do Scraping Ético

Normalização e Qualidade de Dados

Extrair o preço é apenas o primeiro passo. A normalização é crítica:

Desafios de Normalização

• Formatos diversos: "$1,234.56", "1.234,56 €", "R$ 1.234,56"
• Informações adicionais: "Antes: $100 Agora: $80"
• Descontos e promoções: "50% OFF", "Leve 2 Pague 1"
• Disponibilidade: "Sem estoque", "Consultar", "Pré-venda"

def normalize_price(raw_price: str) -> Optional[float]:
    # 1. Limpeza básica
    clean = raw_price.strip()
    clean = re.sub(r'[^\d.,]', '', clean)  # Remover símbolos
    
    # 2. Detecção de formato regional
    if ',' in clean and '.' in clean:
        # Determinar se , é decimal ou separador de milhares
        if clean.rfind(',') > clean.rfind('.'):
            clean = clean.replace('.', '').replace(',', '.')
        else:
            clean = clean.replace(',', '')
    elif ',' in clean:
        # Poderia ser decimal europeu
        if len(clean.split(',')[1]) == 2:
            clean = clean.replace(',', '.')
    
    # 3. Conversão
    try:
        return float(clean)
    except ValueError:
        logger.warning(f"Could not parse: {raw_price}")
        return None

Escalabilidade e Performance

Monitoramento de 10M+ Preços Diários

Para operar na escala da Kompara, precisamos de:

Detecção de Mudanças e Alertas

O scraping gera valor quando detecta mudanças importantes:

class PriceChangeDetector:
    def analyze_change(self, old_price, new_price, product_id):
        change_pct = ((new_price - old_price) / old_price) * 100
        
        # Mudança drástica (>10%)
        if abs(change_pct) > 10:
            self.trigger_alert(
                type='drastic_change',
                product_id=product_id,
                old=old_price,
                new=new_price,
                change_pct=change_pct
            )
        
        # Perda de liderança
        if self.was_cheapest(product_id) and not self.is_cheapest(product_id):
            self.trigger_alert(
                type='leadership_lost',
                product_id=product_id,
                competitor=self.get_new_leader(product_id)
            )

Futuro: Machine Learning em Scraping

A próxima evolução inclui:

• Autoadaptação de seletores: ML para detectar preços sem seletores manuais
• Detecção de anomalias: Identificar dados incorretos automaticamente
• Previsão de mudanças: Antecipar quando um concorrente mudará preços
• Priorização inteligente: Decidir quais produtos fazer scraping com mais frequência