La mayoría de los scrapers de catálogo te dan una fila por producto. Este baja un nivel más: envías una página de colección y obtienes una fila por cada talla y color, cada una con su propio SKU, su propio precio y su propio estado de stock.
Nuestra ejecución envió una sola página de colección de guantes de hombre y recibió 66 filas, todas con ok, repartidas entre diez productos distintos, entre 4 y 12 filas cada uno. El ejemplo de prueba publicado por el proveedor para este servicio es esa misma URL de colección, así que la apertura es el flujo previsto y no un efecto secundario de cómo lo pedimos.
Esta es la parte que cambia cómo modelas los datos. Cada fila es una talla y un color: su propio sku, su propia availability y un name que lleva el sufijo, como en … Steel Blue / XS. Doce de nuestras filas compartían una misma product_url. Agrupa por product_url para obtener productos; conserva las filas para obtener la curva de tallas.
En nuestras 66 filas, 39 volvieron como InStock y 27 como OutOfStock, en productos nominalmente disponibles. Un scraper a nivel de producto habría dado los diez por disponibles. Aquí ves que un color falta en L pero no en M, y esa es la diferencia entre un informe de stock y un informe de stock con el que se puede actuar.
Ambas columnas están vacías en las 69 filas nuestras. Comprobamos por qué: al acceder a una de esas fichas de producto se obtiene un bloque de datos estructurados que describe el producto y todas sus variantes, y no lleva ninguna valoración ni ningún recuento de reseñas. Las columnas están vacías porque la página no publica esas cifras, no porque la ejecución fallara. No planifiques un flujo de reseñas alrededor de este servicio.
Nuestras 66 filas traían cuatro valores de marca: Forclaz en 40, Wedze en 14, Quechua en 6 y Kiprun en 6. Son las marcas propias de Decathlon, así que la columna de marca agrupa un catálogo en lugar de identificar a un fabricante que pudieras buscar en otro sitio. Si tu flujo es cruzar minoristas, esta es la fuente equivocada; si es investigar el surtido de marca propia, es una buena.
Una segunda ejecución sobre la misma URL devolvió una sola fila que describe la página: nombre «Men's Gloves», el logotipo de Decathlon como imagen, sin sku y sin product_url. Es además la única fila cuyo price lleva símbolo de moneda. Filtra por que sku exista antes de agregar y esa fila se cae limpiamente.
Leído de una exportación real, en orden de hoja. Los recuentos vienen de nuestra ejecución de colección de 66 filas, así que donde aquí se dice que una columna traía valor se están describiendo filas que realmente tenemos.
sku en todas las filas que tenemos, a diferencia de nuestras páginas de distribuidores, donde las dos columnas llevan numeraciones distintas.$49.99. Lee currency en vez de deducirla de la cadena.USD en todas las filas de producto de nuestra ejecución. Léela en vez de suponerla: Decathlon opera tiendas nacionales y la columna existe justamente porque la respuesta no siempre es la misma.InStock u OutOfStock, por variante. Nuestra ejecución se repartió 39 a 27. Es la columna que hace que valga la pena lanzar el servicio con una programación y no una sola vez.rating.sku_code. Conserva ambas si escribes un importador para varios de nuestros servicios de catálogo, donde a menudo difieren; aquí usa cualquiera de las dos.product_url: la fila apunta a su propia ficha de producto y no a la colección de la que salió.images.ok en 67 filas y http 404 en 2, estas últimas de una dirección de marcador que no existe. Concilia por esta columna y no por el número de filas, que una apertura por variantes vuelve inútil por sí solo.Diecisiete columnas por fila · CSV, JSON o Excel
Lo que debe guiar tu importador es que una fila es una variante. Una URL de colección produjo 66 filas sobre diez productos en nuestra ejecución -de 4 a 12 filas cada uno- con la talla y el color en el sufijo de name y el stock decidido por fila. Por eso vale la pena availability: 39 de esas 66 estaban disponibles y 27 no, en productos que un scraper a nivel de producto habría dado por disponibles. Dos columnas están vacías por un motivo que verificamos en lugar de suponer. Al acceder a una de las fichas de producto se obtiene un bloque de datos estructurados que describe el producto y lista todas sus variantes con su precio, su moneda y su stock, y no lleva valoración ni recuento de reseñas en ninguna parte. rating y reviews están vacías porque la fuente no las publica.
El stock llega por variante, así que una ejecución semanal te dice que un color se ha ido en M y L mientras la XS sigue en el lineal. Esa es la forma de la demanda dentro de un producto, y es invisible para cualquier scraper que informe de una sola disponibilidad por ficha.
Cuatro marcas cubrieron toda nuestra ejecución: Forclaz, Wedze, Quechua y Kiprun. Agrupa por brand y product_url y un par de URLs de colección te dan la forma de una gama propia: cuántos productos, cuántas variantes cada uno y a qué precios.
parsed_price es un número desnudo y currency te dice en qué está denominado, así que una ejecución programada de colección produce una serie de precios limpia sin limpiar cadenas. Nuestra ejecución tenía siete precios distintos entre diez productos.
images traía hasta 25 URLs por fila y está verificado que image es la primera de ellas, así que puedes construir un feed con foto principal y galería sin partir cadenas para el caso común. La descripción se repite entre las variantes de un producto, que es justo lo que quieres en un feed.
Por única vez, al registrarte. Sin tarjeta y sin nada que cancelar después.
Se factura por filas realmente devueltas, algo que aquí conviene planificar porque las variantes multiplican. Una URL de colección produjo 66 filas en nuestra ejecución, y 66 filas es lo que costaría.
Los créditos no caducan en un ciclo mensual. Barre la gama de invierno en octubre y nada más hasta la primavera si el trabajo tiene esa forma.
LIVESCRAPER10 al pagar.Otro catálogo de moda sobre el mismo esquema, donde talla y color importan tanto como aquí.
Un minorista europeo de consumo sobre las mismas diecisiete columnas: lee su página antes de lanzarlo, allí la historia es distinta.
Surtido de gran almacén sobre las mismas columnas. Útil cuando comparas una gama de marca propia con una multimarca.
Una imagen fechada del anuncio junto a las filas. Práctica cuando lo que afirmas es que una talla estaba agotada un día concreto.
Precios, tallas y stock en una ficha pública son hechos comerciales corrientes. Las advertencias que merece la pena nombrar aquí son sobre el volumen y sobre para qué sirven y para qué no estos datos.
Un precio, un nombre de producto, una talla y si está disponible son hechos sobre bienes puestos a la venta. Leerlos de una página que se sirve a cualquier visitante es la misma actividad que hace un comprador a mano, solo que a una velocidad útil. Nada en las diecisiete columnas describe a una persona: ni nombre, ni correo electrónico, ni teléfono, ni cuenta, así que las cuestiones de protección de datos que dan forma a nuestros servicios sobre personas no se plantean aquí.
Lo propio de este sitio es el volumen. Una URL de colección que se abre hasta cada variante hace más trabajo por petición que un acceso a una ficha, y produce muchas más filas: una página de colección nos dio 66. Trabajamos a un ritmo considerado y mostramos cualquier fallo en la columna de estado en lugar de reintentarlo hasta el agotamiento, y conviene programar teniendo presente la multiplicación en vez de tratar una URL de colección como un atajo gratuito. Para que conste: ninguna de nuestras ejecuciones contra este sitio fue bloqueada; las dos filas sin ok de nuestra exportación son 404 de una dirección de marcador que no existe, y el catálogo del proveedor no registra ningún bloqueo para este servicio.
Nuestras condiciones son las mismas que en cualquier otro servicio de aquí. Solo páginas de acceso público, nada detrás de un inicio de sesión, sin rastreadores de terceros en la capa de datos, y las exportaciones se eliminan automáticamente a los 30 días. Tus primeras 500 filas son gratis y no necesitan tarjeta.
ok y todas compartiendo la misma query. El ejemplo de prueba publicado por el proveedor para este servicio es esa misma URL de colección.sku, su availability y un name que acaba en algo como - Steel Blue / XS. En nuestra ejecución un producto produjo doce filas. Agrupa por product_url si quieres una fila por producto.InStock y 27 como OutOfStock, en diez productos que un scraper a nivel de producto habría dado por disponibles. Esa es la diferencia entre saber que un producto existe y saber que puedes comprarlo en talla L.parsed_price es un número desnudo y, en las filas de producto, price lleva la misma cifra sin símbolo; currency era USD en todas las filas de producto de nuestra ejecución. La única fila con símbolo era la propia página de colección, no un producto.sku y sin product_url. Filtra por que sku exista antes de agregar y se cae.Una URL de colección, una fila por cada talla y color, con precio, stock e imágenes en cada una. Tus primeras 500 filas son gratis, después 0,002 $ cada una.
Decathlon es un minorista de artículos deportivos que vende sobre todo marcas propias, y el servicio de esta página lee sus páginas de colección y de producto hacia la misma tabla de diecisiete columnas que producen nuestros otros scrapers de catálogo. Lo que lo distingue de aquellos es la profundidad de la apertura. Nuestra ejecución envió una sola URL de colección de guantes de hombre y recibió sesenta y seis filas, todas con éxito, repartidas entre diez fichas de producto distintas, de cuatro a doce filas cada una. El ejemplo de prueba publicado por el proveedor para este servicio es esa misma URL de colección, así que este es el flujo previsto y no un accidente de cómo lo pedimos.
Las filas son variantes, no productos. Cada una es una talla concreta en un color concreto, con su número de artículo en sku, su estado de stock en availability y un name que termina con la variante, algo como Steel Blue / XS. Esa es toda la razón para lanzar esto en lugar de un scraper a nivel de producto: de nuestras sesenta y seis filas, treinta y nueve estaban disponibles y veintisiete no, en diez productos que una comprobación a nivel de página habría dado por disponibles. Saber que un color se ha agotado en mediana y grande mientras la extrapequeña sigue intacta es un hecho distinto de saber que el producto existe, y es el que sostiene un aviso de reposición o un informe de curva de tallas. Agrupa por product_url cuando quieras productos; conserva las filas cuando quieras el detalle.
Dos columnas llegan vacías en todas las filas, y comprobamos por qué en vez de suponerlo. Al acceder a una de las fichas de producto se obtiene un documento grande que lleva un bloque de datos estructurados: describe el producto y lista todas sus variantes, cada una con precio, moneda y estado de stock, y no contiene ninguna valoración media ni recuento de reseñas en ninguna parte. Así que rating y reviews están vacías porque la fuente no las publica, y por mucho que se repita la ejecución eso no cambiará. El mismo acceso corroboró el resto de la exportación: el número de variantes listadas en la página coincidía exactamente con el número de filas que nuestra ejecución produjo para ese producto, el número de artículo aparecía en ambos y la marca coincidía. Los precios llegan como números desnudos en parsed_price, con currency al lado: lee la moneda en vez de suponerla, ya que Decathlon opera tiendas nacionales.
La columna de marca merece una advertencia. Nuestra ejecución devolvió cuatro valores -Forclaz, Wedze, Quechua y Kiprun-, todos ellos marcas propias de Decathlon. Eso hace de esta una fuente excelente para mapear un surtido de marca propia y pobre para casar un producto con otro minorista, porque no hay un fabricante externo con el que cruzar. Más allá de eso, planifica el volumen: las variantes multiplican, una URL de colección nos costó sesenta y seis filas en lugar de una, y la facturación sigue a las filas devueltas. Ninguna de nuestras ejecuciones contra este sitio fue bloqueada -las únicas filas sin ok de nuestra exportación son 404 de una dirección de marcador- y el catálogo del proveedor no registra bloqueo para el servicio. Solo páginas de acceso público, sin rastreadores de terceros en la capa de datos, las exportaciones se eliminan automáticamente a los 30 días, y tus primeras 500 filas son gratis y sin tarjeta.