Macy's référence des centaines de marques en mode, beauté, maison et bijouterie, et les affiche avec un vocabulaire de prix qui n'appartient qu'à lui. Ce service transforme les pages produit en tableau : dix-sept colonnes par article, avec le prix conservé deux fois - une fois exactement tel qu'affiché, une fois réduit à quelque chose de calculable.
Presque toutes les erreurs sérieuses commises avec des prix de grand magasin viennent du fait de lire le nombre et de jeter le mot qui l'accompagne.
Macy's publie sa propre politique tarifaire, et elle est d'une clarté inhabituelle. Les prix Regular et Original y sont décrits comme des prix proposés - la marchandise a été proposée à ce prix en magasin ou sur macys.com - et Macy's indique explicitement qu'un article peut ne jamais avoir été vendu à ce prix, de sorte qu'une économie calculée à partir de là ne prouve pas que quiconque ait payé le montant supérieur. Si vous bâtissez une mesure de profondeur de remise sur un prix barré, c'est cela que vous mesurez : la manière dont Macy's présente un prix, non la façon dont un marché a bougé.
Le vocabulaire porte du sens au-delà de cela. Original, Closeout, Clearance, Now, Permanent Markdown et Just Reduced signalent tous une baisse définitive - un article ainsi marqué ne remontera pas à son ancien prix. Everyday Value désigne un prix bas permanent dont les promotions et les codes de réduction sont exclus, ce qui est tout autre chose qu'une remise. Deux articles affichant le même nombre peuvent donc vous dire des choses opposées sur ce qui va suivre.
C'est précisément pourquoi l'export conserve le prix deux fois. price est la chaîne telle qu'affichée, symbole monétaire et séparateurs compris ; parsed_price est le même montant débarrassé de ce formatage, pour qu'il se trie et s'additionne correctement. Calculez sur parsed_price, et gardez price pour que la présentation survive jusque dans vos données au lieu d'être perdue à l'analyse.
Vous le pointez vers des pages Macy's et il vous rend un tableau. Aucune syntaxe de recherche à apprendre.
La facturation suit les lignes : resserrez donc la liste sur Macy's avant de l'exporter, pas après.
Voici les colonnes que déclare l'export de cet extracteur, dans l'ordre. Chaque description explique à quoi sert la colonne. Lesquelles des colonnes facultatives un marchand donné remplit réellement varie - marque, note, nombre d'avis, description et disponibilité figurent toutes au schéma, et aucune n'est garantie sur chaque page.
url ; là où nos exports marchands ont renvoyé des lignes, les deux ont coïncidé - traitez-les donc comme une seule valeur jusqu'à trouver une page où ce n'est pas le cas.InStock et OutOfStock sont les valeurs que nos exports marchands ont renvoyées. Tous les marchands ne le publient pas ; la colonne est alors vide plutôt que fausse.; pour récupérer la liste.sku_code du marchand. Chez certains marchands les deux portent la même valeur, chez d'autres ils diffèrent complètement : ne les traitez donc pas comme interchangeables.product_url.images. Pratique quand vous voulez une vignette par ligne et non une liste.Trois de ces paires semblent redondantes et une seule l'est. product_url et url ont coïncidé partout où nos exports marchands ont renvoyé des lignes. images et image sont une liste et sa première entrée, donc une commodité et non un doublon. Mais sku_code et sku sont réellement deux identifiants différents - celui du marchand et celui du fabricant - et chez les marchands qui utilisent les deux, ils ne coïncident pas. Dédupliquez sur la référence du marchand, et non sur celle sur laquelle vos dix premières lignes se sont trouvées d'accord.
Les données de grand magasin ont une forme particulière, et ces quatre propriétés décident de ce que l'export peut honnêtement soutenir.
Les deux colonnes de prix existent parce qu'un prix affiché et un prix numérique sont deux objets distincts. price arrive tel qu'un client le voit - symbole monétaire, séparateur de milliers - ce qui est inutile à un tableur et indispensable à un lecteur. parsed_price est le même montant sans tout cela : il se trie et se moyenne correctement. Gardez les deux. Jeter le prix formaté à l'analyse, c'est ainsi qu'une série de prix finit incapable de dire ce qu'elle regardait au juste.
La politique tarifaire de Macy's dit elle-même que les prix Regular et Original sont des prix proposés, et qu'un article peut ne pas avoir été vendu à ces prix - donc que les économies affichées à partir d'eux peuvent ne pas reposer sur des ventes réelles de cet article. C'est le marchand qui vous dit, par écrit, de ne pas lire un prix barré comme une preuve de marché. Une mesure de remise bâtie dessus mesure du langage commercial. Parfaitement légitime à suivre, à condition de l'étiqueter pour ce qu'elle est.
brand, rating, reviews, description et availability font toutes partie de ce schéma, et qu'elles arrivent remplies dépend de ce que les pages elles-mêmes publient. Sur nos exports marchands, un site a rempli brand sur chaque ligne quand un autre ne l'a rempli sur aucune, et availability est revenue tantôt comme une valeur schema.org propre, tantôt pas du tout. Faites un petit tirage avant de concevoir un tableau autour de la présence d'une colonne.
Toutes les images du produit arrivent dans un unique champ images, avec un point-virgule et une espace entre les URL, et image répète la première par commodité. C'est très bien une fois qu'on le sait et pénible sinon - un import naïf traite l'ensemble comme une très longue URL et toutes les images cassent silencieusement. Découpez sur ; à l'ingestion. Le nombre obtenu est d'ailleurs un signal grossier en soi : un produit avec une photographie et un produit avec une douzaine ne sont généralement pas au même point d'un cycle commercial.
Là où un catalogue de grand magasin est plus utile en tableau qu'en défilement infini.
Un export est une liste de prix ; le même export répété est un historique de prix. Extrayez une catégorie à intervalle régulier, rapprochez les lignes sur sku_code, et l'écart vous dit ce qui a bougé, ce qui est passé en déstockage et ce qui a discrètement disparu. Comme price conserve la mention à côté du chiffre, vous pouvez en outre distinguer les vraies baisses des articles qui n'ont l'air réduits que sur le papier.
Pour une marque qui vend via Macy's, la question intéressante n'est pas le prix conseillé mais le rayon : combien de vos lignes sont référencées, à quels prix, avec combien de photographies, et lesquelles traînent en déstockage. Groupez par brand, triez par parsed_price, et vous avez la réponse sur un écran - y compris les produits dont votre propre équipe commerciale ignore peut-être qu'ils sont soldés.
Les places de marché, les comparateurs et les catalogues d'affiliation ont tous besoin des mêmes choses : un titre, une description, un prix, une image et un identifiant. Cet export porte les cinq, plus le Web ID qui relie une fiche au système de Macy's. Découpez images, gardez parsed_price pour le flux et price pour l'affichage, et la transformation tient en quelques lignes plutôt qu'en un projet.
Pas d'abonnement, pas de minimum, pas de licence par siège. Vos 500 premières lignes sont pour nous - ensuite, paiement à l'usage.
Pour chaque nouveau compte, une seule fois. Sans carte bancaire. Tous les extracteurs débloqués. Cinq cents produits représentent une part substantielle d'un seul rayon, de quoi voir la forme des données avant de vous engager sur quoi que ce soit.
Environ 2 $ pour 1 000 produits. La facturation suit les lignes : la façon la moins chère de surveiller une catégorie est donc de la resserrer sur Macy's d'abord, puis de répéter la même extraction resserrée - un export hebdomadaire des lignes qui vous intéressent coûte une fraction d'un export mensuel de tout.
Tarifs au volume, SLA, workers dédiés et onboarding sur mesure pour les équipes qui suivent de grands catalogues chez de nombreux marchands, de façon récurrente. Donnez-nous vos chiffres et nous établirons un devis.
LIVESCRAPER10 au paiement.Le même article est généralement référencé à plusieurs endroits à plusieurs prix, et un seul catalogue ne peut pas vous dire lequel est l'exception. Ces deux-là utilisent la même forme d'export.
Les mêmes champs produit issus du catalogue sur lequel la plupart des comparaisons de prix sont calées - utile dès qu'il faut savoir si un prix Macy's est compétitif.
De la mode chez un pure player au rythme de démarque très différent - un témoin utile quand vous cherchez à distinguer une tendance de catégorie du calendrier promotionnel d'une seule enseigne.
Réponse courte : oui. Une page produit est une publicité, publiée pour être lue par le plus grand nombre.
Les pages produit de Macy's sont publiques. N'importe qui peut les lire sans compte, et collecter des informations produit publiquement visibles à des fins de recherche et de comparaison de prix est une pratique établie de longue date. Tant que les données sont publiquement disponibles et que le processus ne perturbe pas le site, aucune loi fédérale ne l'interdit.
Le sujet est ici à peu près aussi peu controversé que la collecte de données puisse l'être. Chacune de ces dix-sept colonnes décrit un article en vente - son nom, son prix, ses photos, ses identifiants. Il n'y a nulle part de donnée personnelle dans l'export : pas de client, pas d'auteur d'avis, pas même un texte d'avis. Rien dans le fichier n'identifie une personne.
Les conditions de Macy's restreignent l'accès automatisé, cela reste donc une question de conditions. Nous ne touchons à rien derrière une connexion, ne passons aucune commande, n'exécutons aucun traceur tiers sur la couche de données, et vos exports s'auto-suppriment au bout de 30 jours.
Les questions que nous entendons le plus. Autre chose ? Parlons-en - ce sont des humains, pas des bots, qui écrivent les réponses.
query, sku_code, product_url, name, description, parsed_price, price, currency, availability, rating, reviews, images, brand, sku, url, image et status. Une ligne par produit. C'est la forme partagée de nos points d'accès produit marchands : un export Macy's s'aligne donc colonne pour colonne avec les autres.price est la chaîne telle qu'affichée, symbole monétaire et séparateurs de milliers compris. parsed_price est le même montant sans ce formatage, pour qu'il se trie et s'additionne correctement. Calculez sur parsed_price et gardez price - chez Macy's en particulier, la manière dont un chiffre est présenté porte un sens que le nombre nu n'a pas.sku_code est la référence article propre au marchand - chez Macy's, l'emplacement du Web ID, le numéro imprimé sur les étiquettes en magasin et dans le catalogue qui fait remonter un article dans la recherche du site. sku est l'identifiant du fabricant, une référence de modèle ou de pièce. Chez certains marchands les deux portent la même valeur, chez d'autres ils diffèrent complètement : choisissez donc délibérément lequel sert de clé plutôt que de supposer qu'ils concordent.; et vous avez la liste. image contient déjà la première si vous ne voulez qu'une vignette par ligne.brand, rating, reviews, description et availability dépendent de ce que les pages elles-mêmes publient - sur nos exports marchands, un site a rempli brand sur chaque ligne et un autre sur aucune. Faites d'abord un petit échantillon et regardez quelles colonnes arrivent remplies avant de concevoir autour de l'une d'elles.sku_code est la colonne dans laquelle il revient. Pour soumettre du travail, les URL produit sont l'entrée sans ambiguïté - une URL résout toujours exactement une page. Notez aussi que tous les articles d'un magasin ou d'un catalogue Macy's n'ont pas de Web ID, car tout ce que Macy's vend n'est pas vendu en ligne.Collez les produits, choisissez votre format, et repartez avec le catalogue en lignes - nom, description, les deux prix, marque, images et les identifiants qui relient le tout. Vos 500 premières lignes sont gratuites.
Macy's est l'une des plus grandes chaînes de grands magasins des États-Unis, avec des centaines de marques en mode, beauté, maison et bijouterie, et son site est le catalogue par lequel la plupart de ces marques sont jugées. Le parcourir fonctionne bien pour un achat et mal pour toute question portant sur l'assortiment : comment une marque est positionnée en prix sur ses lignes, quelle part d'une catégorie est en déstockage cette semaine, quels articles ont gagné ou perdu des photographies, ce qui a bougé depuis la dernière fois. Le Macys Products Scraper y répond en transformant les pages produit en tableau - dix-sept colonnes par article, exporté en CSV, JSON ou Excel, dans la même forme que nos autres points d'accès produit marchands, pour qu'une comparaison multi-enseignes s'aligne colonne pour colonne.
La décision de conception à comprendre avant de l'utiliser est que le prix est stocké deux fois. Les prix de détail sont affichés pour des humains, avec symbole monétaire et séparateur de milliers, et cette chaîne est inutile à un tableur - mais la nettoyer est destructeur, car chez Macy's la présentation porte du sens. L'export garde donc les deux : parsed_price sans formatage, pour le tri et l'arithmétique, et price exactement tel qu'affiché, pour tout le reste. Le même principe explique la paire de colonnes d'images, où images réunit chaque photographie dans une chaîne séparée par des points-virgules tandis qu'image répète la première par commodité, et la paire de colonnes d'identifiants, où sku_code est la référence du marchand et sku celle du fabricant - ces deux-là sont réellement des valeurs différentes chez les marchands qui utilisent les deux, et choisir la mauvaise comme clé produit des doublons qui ressemblent à de nouveaux produits.
Le vocabulaire tarifaire de Macy's mérite une attention particulière, et c'est Macy's qui en fournit la raison. Sa politique publiée décrit les prix Regular et Original comme des prix proposés - la marchandise a été proposée à ce prix - et indique qu'un article peut ne pas y avoir été vendu, de sorte que les économies affichées à partir d'eux peuvent ne pas reposer sur des ventes réelles. La même politique distingue un ensemble de termes signalant une baisse définitive, dont Original, Closeout, Clearance, Now, Permanent Markdown et Just Reduced, d'Everyday Value, qui est un prix bas permanent dont les promotions et les codes de réduction sont exclus. Deux produits affichant le même nombre peuvent donc suivre des trajectoires opposées. Une mesure de remise calculée à partir d'un prix barré mesure du langage commercial plutôt qu'un mouvement de marché, ce qui est parfaitement acceptable à suivre du moment que c'est honnêtement étiqueté.
Une note honnête sur les preuves qui sous-tendent cette page. Chaque affirmation ci-dessus est soit le schéma déclaré de l'export - les dix-sept noms de colonnes, identiques dans nos deux exécutions - soit une propriété documentée de Macy's, tirée de sa propre politique tarifaire et de sa convention de Web ID. Il n'y a ici aucun résultat de collecte chez Macy's, car nous n'en avons aucun : les deux exécutions ont été lancées contre une URL de substitution plutôt que contre une vraie page Macy's et n'ont renvoyé qu'un 404, et le service est répertorié en interne comme nécessitant un proxy résidentiel. La sémantique des colonnes décrite plus haut a été établie à partir de points d'accès marchands frères, au schéma identique, qui ont bien renvoyé des lignes remplies : c'est pourquoi la page peut dire à quoi sert une colonne sans prétendre savoir ce que Macy's y a mis. Aucun nombre de produits, aucun prix, aucune note et aucun niveau de stock n'apparaît sur cette page, et aucun ne sera ajouté sans qu'un vrai export Macy's l'étaye. Commencez gratuitement : vos 500 premières lignes ne coûtent rien et ne nécessitent pas de carte bancaire.