La plupart des scrapers de catalogue vous donnent une ligne par produit. Celui-ci descend d'un niveau : soumettez une page de collection et vous obtenez une ligne pour chaque taille et chaque couleur, chacune avec son propre SKU, son propre prix et son propre état de stock.
Notre exécution a soumis une seule page de collection de gants homme et a reçu 66 lignes, toutes en ok, réparties sur dix produits distincts - de 4 à 12 lignes chacun. L'exemple de test publié par le fournisseur pour ce service est cette même URL de collection : le déploiement est donc le mode d'emploi prévu, pas un effet de bord de notre façon de demander.
C'est la partie qui change votre modélisation. Chaque ligne est une taille et une couleur - son propre sku, sa propre availability, et un name qui porte le suffixe, comme dans … Steel Blue / XS. Douze de nos lignes partageaient une même product_url. Groupez par product_url pour obtenir des produits ; conservez les lignes pour obtenir la courbe des tailles.
Sur nos 66 lignes, 39 sont revenues en InStock et 27 en OutOfStock - pour des produits nominalement disponibles. Un scraper au niveau du produit aurait déclaré ces dix produits disponibles. Ici vous voyez qu'une couleur manque en L mais pas en M, et c'est la différence entre un état des stocks et un état des stocks exploitable.
Les deux colonnes sont vides sur nos 69 lignes. Nous avons vérifié pourquoi : récupérer l'une de ces fiches produit renvoie un bloc de données structurées décrivant le produit et chaque variante - et il ne porte aucune note ni aucun nombre d'avis. Les colonnes sont vides parce que la page ne publie pas ces chiffres, pas parce que l'exécution a échoué. Ne bâtissez pas un flux d'avis autour de ce service.
Nos 66 lignes portaient quatre valeurs de marque - Forclaz sur 40, Wedze sur 14, Quechua sur 6 et Kiprun sur 6. Ce sont les marques propres de Decathlon : la colonne marque regroupe donc un catalogue plutôt qu'elle n'identifie un fabricant que vous pourriez retrouver ailleurs. Si votre travail est le rapprochement entre enseignes, ce n'est pas la bonne source ; pour l'étude d'un assortiment de marque propre, c'en est une bonne.
Une seconde exécution sur la même URL a renvoyé une ligne unique décrivant la page - nom « Men's Gloves », le logo Decathlon comme image, ni sku ni product_url. C'est aussi la seule ligne dont le price porte un symbole monétaire. Filtrez sur la présence de sku avant d'agréger et cette ligne disparaît proprement.
Lu depuis un export réel, dans l'ordre de la feuille. Les décomptes viennent de notre exécution de collection à 66 lignes : là où il est dit qu'une colonne portait une valeur, cela décrit des lignes que nous détenons réellement.
sku sur toutes les lignes que nous détenons, contrairement à nos pages distributeurs où les deux colonnes portent des numérotations différentes.$49.99. Lisez currency plutôt que d'en déduire une depuis la chaîne.USD sur chaque ligne produit de notre exécution. Lisez-la plutôt que de la supposer : Decathlon exploite des boutiques nationales et la colonne existe précisément parce que la réponse n'est pas toujours la même.InStock ou OutOfStock, par variante. Notre exécution se répartissait 39 contre 27. C'est la colonne qui rend le service utile à programmer plutôt qu'à lancer une seule fois.rating.sku_code. Conservez les deux si vous écrivez un importateur couvrant plusieurs de nos services de catalogue, où elles diffèrent souvent ; ici, l'une ou l'autre suffit.product_url - la ligne pointe vers sa propre fiche produit, pas vers la collection dont elle provient.images.ok sur 67 lignes et http 404 sur 2, ces dernières depuis une adresse fictive qui n'existe pas. Rapprochez sur cette colonne plutôt que sur le nombre de lignes, qu'un déploiement en variantes rend à lui seul dénué de sens.Dix-sept colonnes par ligne · CSV, JSON ou Excel
Ce autour de quoi concevoir votre importateur : une ligne est une variante. Une URL de collection a produit 66 lignes sur dix produits dans notre exécution - de 4 à 12 lignes chacun - avec la taille et la couleur dans le suffixe de name et le stock décidé ligne par ligne. C'est pourquoi availability vaut la peine : 39 de ces 66 étaient disponibles et 27 non, sur des produits qu'un scraper au niveau produit aurait signalés comme disponibles. Deux colonnes sont vides pour une raison que nous avons vérifiée plutôt que devinée. Récupérer l'une des fiches produit renvoie un bloc de données structurées qui décrit le produit et liste chaque variante avec son prix, sa devise et son stock - et ne porte nulle part de note ni de nombre d'avis. rating et reviews sont vides parce que la source ne les publie pas.
Le stock arrive par variante : une exécution hebdomadaire vous dit qu'une couleur a disparu en M et L pendant que le XS reste en rayon. C'est la forme de la demande à l'intérieur d'un produit, et elle est invisible pour tout scraper qui ne renvoie qu'une disponibilité par fiche produit.
Quatre marques couvraient toute notre exécution - Forclaz, Wedze, Quechua et Kiprun. Groupez par brand et product_url et quelques URL de collection vous donnent la forme d'une gamme propre : combien de produits, combien de variantes chacun, à quels prix.
parsed_price est un nombre nu et currency vous dit en quoi il est libellé : une exécution de collection programmée produit donc une série de prix propre sans aucun nettoyage de chaîne. Notre exécution comptait sept prix distincts sur dix produits.
images portait jusqu'à 25 URL par ligne et image est vérifié comme étant la première d'entre elles : vous pouvez donc bâtir un flux avec une photo principale et une galerie sans découper de chaînes pour le cas courant. La description se répète entre les variantes d'un produit, ce qui est exactement ce qu'on veut dans un flux.
Une seule fois, à l'inscription. Sans carte, et sans rien à résilier ensuite.
Facturé sur les lignes réellement renvoyées - à anticiper ici, car les variantes multiplient. Une URL de collection a produit 66 lignes dans notre exécution, et 66 lignes est ce qu'elle coûterait.
Les crédits n'expirent pas au rythme mensuel. Balayez la gamme d'hiver en octobre et plus rien jusqu'au printemps si le travail a cette forme.
LIVESCRAPER10 au paiement.Un autre catalogue d'habillement sur le même schéma, où taille et couleur comptent autant qu'ici.
Une enseigne grand public européenne sur les mêmes dix-sept colonnes - lisez sa page avant de la lancer, l'histoire y est différente.
Assortiment de grand magasin sur les mêmes colonnes. Utile quand vous comparez une gamme de marque propre à une offre multimarque.
Une image datée de l'annonce à côté des lignes. Pratique quand votre affirmation est qu'une taille était épuisée un jour donné.
Prix, tailles et stock sur une fiche produit publique sont des faits commerciaux ordinaires. Les réserves à nommer ici portent sur le volume et sur ce à quoi ces données servent - et ne servent pas.
Un prix, un nom de produit, une taille et sa disponibilité sont des faits sur des biens proposés à la vente. Les lire sur une page servie à tout visiteur, c'est la même activité qu'un acheteur accomplit à la main, à une vitesse utile. Rien dans les dix-sept colonnes ne décrit une personne : ni nom, ni adresse e-mail, ni numéro de téléphone, ni compte - les questions de protection des données qui façonnent nos services tournés vers les personnes ne se posent donc pas ici.
Ce qui est propre à ce site, c'est le volume. Une URL de collection qui se déploie jusqu'à chaque variante fait plus de travail par requête qu'une récupération de fiche, et elle produit beaucoup plus de lignes : une page de collection nous en a donné 66. Nous travaillons à une allure raisonnable et faisons remonter tout échec dans la colonne de statut plutôt que de le réessayer sans fin, et vous devriez planifier en gardant la multiplication à l'esprit plutôt que de traiter une URL de collection comme un raccourci gratuit. Pour ce que cela vaut : aucune de nos exécutions contre ce site n'a été bloquée - les deux lignes sans ok de notre export sont des 404 venant d'une adresse fictive qui n'existe pas - et le catalogue du fournisseur n'enregistre aucun blocage pour ce service.
Nos propres conditions sont les mêmes que pour tous les autres services d'ici. Uniquement des pages accessibles au public, rien derrière une connexion, aucun traqueur tiers sur la couche de données, et les exports sont supprimés automatiquement au bout de 30 jours. Vos 500 premières lignes sont gratuites et n'exigent pas de carte.
ok, toutes partageant la même query. L'exemple de test publié par le fournisseur pour ce service est cette même URL de collection.sku, son availability et un name se terminant par quelque chose comme - Steel Blue / XS. Dans notre exécution, un produit a donné douze lignes. Groupez par product_url si vous voulez une ligne par produit.InStock et 27 en OutOfStock - sur dix produits qu'un scraper au niveau produit aurait déclarés disponibles. C'est la différence entre savoir qu'un produit existe et savoir que vous pouvez l'acheter en L.parsed_price est un nombre nu et, sur les lignes produit, price porte le même montant sans symbole ; currency valait USD sur chaque ligne produit de notre exécution. La seule ligne portant un symbole était la page de collection elle-même, pas un produit.sku ni product_url. Filtrez sur la présence de sku avant d'agréger et elle disparaît.Une URL de collection, une ligne pour chaque taille et chaque couleur, avec le prix, le stock et les images sur chacune. Vos 500 premières lignes sont gratuites, puis 0,002 $ l'unité.
Decathlon est une enseigne d'articles de sport qui vend surtout ses propres marques, et le service de cette page lit ses pages de collection et de produit vers le même tableau à dix-sept colonnes que produisent nos autres scrapers de catalogue. Ce qui le distingue, c'est la profondeur du déploiement. Notre exécution a soumis une seule URL de collection de gants homme et reçu soixante-six lignes, toutes en succès, réparties sur dix fiches produit distinctes à raison de quatre à douze lignes chacune. L'exemple de test publié par le fournisseur pour ce service est cette même URL de collection : c'est donc le mode d'emploi prévu et non un hasard de notre façon de demander.
Les lignes sont des variantes, pas des produits. Chacune est une taille précise dans une couleur précise, avec son numéro d'article dans sku, son état de stock dans availability, et un name qui se termine par la variante - quelque chose comme Steel Blue / XS. C'est toute la raison de lancer ceci plutôt qu'un scraper au niveau produit : sur nos soixante-six lignes, trente-neuf étaient disponibles et vingt-sept non, sur dix produits qu'une vérification au niveau page aurait signalés comme disponibles. Savoir qu'une couleur a disparu en moyen et grand alors que le très petit reste intact est un fait différent de savoir que le produit existe, et c'est celui qui soutient une alerte de réassort ou un rapport de courbe des tailles. Groupez par product_url quand vous voulez des produits ; conservez les lignes quand vous voulez le détail.
Deux colonnes arrivent vides sur chaque ligne, et nous avons vérifié pourquoi plutôt que de deviner. Récupérer l'une des fiches produit renvoie un gros document portant un bloc de données structurées qui décrit le produit et liste toutes ses variantes, chacune avec un prix, une devise et un état de stock - et qui ne contient nulle part de note moyenne ni de nombre d'avis. rating et reviews sont donc vides parce que la source ne les publie pas, et aucune relance n'y changera rien. La même récupération a corroboré le reste de l'export : le nombre de variantes listées dans la page correspondait exactement au nombre de lignes que notre exécution a produites pour ce produit, le numéro d'article figurait dans les deux, et la marque concordait. Les prix arrivent sous forme de nombres nus dans parsed_price, avec currency à côté - lisez la devise plutôt que de la supposer, puisque Decathlon exploite des boutiques nationales.
La colonne marque mérite une réserve. Notre exécution a renvoyé quatre valeurs - Forclaz, Wedze, Quechua et Kiprun - toutes marques propres de Decathlon. Cela en fait une excellente source pour cartographier un assortiment de marque propre et une mauvaise pour rapprocher un produit d'une autre enseigne, faute de fabricant tiers sur lequel s'appuyer. Au-delà, anticipez le volume : les variantes multiplient, une URL de collection nous a coûté soixante-six lignes plutôt qu'une, et la facturation suit les lignes renvoyées. Aucune de nos exécutions contre ce site n'a été bloquée - les seules lignes sans ok de notre export sont des 404 venant d'une adresse fictive - et le catalogue du fournisseur n'enregistre aucun blocage pour ce service. Uniquement des pages accessibles au public, aucun traqueur tiers sur la couche de données, les exports sont supprimés automatiquement au bout de 30 jours, et vos 500 premières lignes sont gratuites sans carte bancaire.