Web Scraping para Monitoreo de Precios

El web scraping es la tecnología fundamental que permite a Kompara monitorear miles de precios de competidores 24/7 sin intervención manual. En este artículo técnico, exploramos cómo funciona, qué desafíos enfrenta, y las mejores prácticas para implementarlo éticamente.

¿Qué es Web Scraping para Precios?

Web scraping (también conocido como web harvesting o web data extraction) es el proceso automatizado de extraer información estructurada de sitios web. En el contexto de monitoreo de precios, significa:

• Visitación automatizada de páginas de productos de competidores
• Extracción de datos como precio, disponibilidad, descripciones
• Normalización y almacenamiento de información en bases de datos
• Análisis y comparación para generar insights accionables

┌─────────────┐
│   Scheduler │  ← Programa visitas cada hora
└──────┬──────┘
       │
       ▼
┌─────────────────────────────────────┐
│      Scraper Distribuido            │
│  ┌────────┐  ┌────────┐  ┌────────┐│
│  │Worker 1│  │Worker 2│  │Worker 3││  ← Múltiples workers
│  └────────┘  └────────┘  └────────┘│     en paralelo
└──────────────┬──────────────────────┘
               │
               ▼
┌──────────────────────────────────────┐
│       Parser & Normalizer            │  ← Limpia y estructura
└──────────────┬───────────────────────┘     los datos
               │
               ▼
┌──────────────────────────────────────┐
│        Database (PostgreSQL)         │  ← Almacena histórico
└──────────────┬───────────────────────┘
               │
               ▼
┌──────────────────────────────────────┐
│      Analytics Engine + AI           │  ← Genera insights
└──────────────────────────────────────┘
            

Tecnologías y Stack Técnico

Desafíos Técnicos del Web Scraping

1. Detección y Bloqueos Anti-Bot

Los sitios ecommerce modernos implementan múltiples capas de protección:

2. Contenido JavaScript Dinámico

Muchos sitios modernos cargan precios vía JavaScript después del render inicial:

// Ejemplo: Precio cargado dinámicamente
fetch('/api/product/12345/price')
  .then(res => res.json())
  .then(data => {
    document.getElementById('price').textContent = data.price;
  });

Solución en Kompara:

• Uso de headless browsers (Playwright/Puppeteer)
• Espera inteligente hasta que elementos críticos estén cargados
• Interceptación de requests API cuando es posible

3. Estructura HTML Variable

Sitios cambian su HTML frecuentemente, rompiendo selectores:

selectors = [
    'span.price-now',           # Selector principal
    'div.product-price span',   # Fallback 1
    '[data-price]',             # Fallback 2
    'meta[property="og:price"]' # Fallback 3
]

for selector in selectors:
    price = page.query_selector(selector)
    if price:
        return normalize_price(price.text)

Web Scraping Ético y Legal

Principios del Ethical Scraping

Normalización y Calidad de Datos

Extraer el precio es solo el primer paso. La normalización es crítica:

Desafíos de Normalización

• Formatos diversos: "$1,234.56", "1.234,56 €", "R$ 1.234,56"
• Información adicional: "Antes: $100 Ahora: $80"
• Descuentos y promociones: "50% OFF", "2x1"
• Disponibilidad: "Sin stock", "Consultar", "Preventa"

def normalize_price(raw_price: str) -> Optional[float]:
    # 1. Limpieza básica
    clean = raw_price.strip()
    clean = re.sub(r'[^\d.,]', '', clean)  # Remover símbolos
    
    # 2. Detección de formato regional
    if ',' in clean and '.' in clean:
        # Determinar si , es decimal o separador de miles
        if clean.rfind(',') > clean.rfind('.'):
            clean = clean.replace('.', '').replace(',', '.')
        else:
            clean = clean.replace(',', '')
    elif ',' in clean:
        # Podría ser decimal europeo
        if len(clean.split(',')[1]) == 2:
            clean = clean.replace(',', '.')
    
    # 3. Conversión
    try:
        return float(clean)
    except ValueError:
        logger.warning(f"Could not parse: {raw_price}")
        return None

Escalabilidad y Performance

Monitoreo de 10M+ Precios Diarios

Para operar a escala de Kompara, necesitamos:

Detección de Cambios y Alertas

El scraping genera valor cuando detecta cambios importantes:

class PriceChangeDetector:
    def analyze_change(self, old_price, new_price, product_id):
        change_pct = ((new_price - old_price) / old_price) * 100
        
        # Cambio drástico (>10%)
        if abs(change_pct) > 10:
            self.trigger_alert(
                type='drastic_change',
                product_id=product_id,
                old=old_price,
                new=new_price,
                change_pct=change_pct
            )
        
        # Perdemos liderazgo
        if self.was_cheapest(product_id) and not self.is_cheapest(product_id):
            self.trigger_alert(
                type='leadership_lost',
                product_id=product_id,
                competitor=self.get_new_leader(product_id)
            )

Futuro: Machine Learning en Scraping

La siguiente evolución incluye:

• Auto-adaptación de selectores: ML para detectar precios sin selectores manuales
• Detección de anomalías: Identificar datos incorrectos automáticamente
• Predicción de cambios: Anticipar cuándo un competidor cambiará precios
• Priorización inteligente: Decidir qué productos scrappear con más frecuencia