Ce n'est pas un scraper de fiches produit. Vous lui donnez une page de résultats de recherche Best Buy et il renvoie une ligne pour chaque annonce qui s'y trouve, chacune portant le rang qu'elle occupait - prix, note et position en rayon se lisent donc dans le même tableau.
/site/searchpage.jsp?st=….position est le rang de l'annonce sur la page de résultats, à partir de 1. Nos exécutions ont renvoyé les rangs 1 à 23. Cette colonne est ce qui distingue le service d'un scraper de produits : vous capturez un rayon tel qu'il était ordonné un jour donné, et non un ensemble de fiches sans lien, si bien que la même requête lancée chaque semaine donne une série de mouvements plutôt qu'un instantané.
Si vous avez utilisé nos autres catalogues de distribution, vous chercherez parsed_price, currency, availability et un indicateur status. Aucun n'est ici. Ce service renvoie query, name, sku, brand, model, price, rating, reviews, image, url et position - une forme de résultats de recherche, pas de fiche produit.
Le SKU de Best Buy est un simple nombre et chaque ligne le porte deux fois - une fois dans sku et une fois à l'intérieur de url. Deux formes d'URL sont apparues dans notre export : 58 lignes en /product/…/sku/<sku> et 27 en /site/-/<sku>.p?skuId=<sku>. Joignez sur sku plutôt que sur l'adresse et les deux formes se rapportent au même produit.
Sur 85 de nos 85 lignes, la valeur de brand est une sous-chaîne initiale de name. Cela marche quand le titre commence par le fabricant et donne « HP » ou « Dell » ; cela ne marche pas quand le titre commence par une taille ou une formule marketing, et notre export contient donc des valeurs comme « Customer », « Latitude » et « 15.6" 2K Touchscreen Laptop ». Traitez-la comme le début du titre et normalisez avant de grouper dessus.
Nos sept exécutions ont toutes soumis la même URL de recherche et sont revenues avec 2, 3, 10, 14, 15, 18 et 23 lignes. Les rangs commençaient toujours à 1 : ce qui changeait, c'est jusqu'où l'exécution descendait dans la page. Rapprochez sur sku et position, traitez une exécution courte comme une exécution courte et non comme des produits disparus, et relancez quand une série paraît maigre.
Les services de catalogue à dix-sept colonnes écrivent un status par ligne pour qu'une récupération bloquée soit visible. Ce schéma n'en a pas - une exécution qui ne renvoie rien ne renvoie aucune ligne. Le catalogue du fournisseur marque ce service Partial avec la note -blocked (needs residential proxy), ce qui correspond à ce que nous voyons : les lignes arrivent, mais la profondeur n'est pas garantie. Comptez les lignes par exécution et alertez en cas de chute.
Dans l'ordre de l'export. Les décomptes viennent de nos propres sept exécutions : là où il est dit qu'une colonne portait une valeur, cela décrit des lignes que nous détenons réellement.
url sur chaque ligne. Sept SKU sont apparus dans plus d'une de nos exécutions : c'est ainsi qu'on suit un produit dans le temps.name. De vrais fabricants apparaissent, et aussi des fragments comme « Customer » ou une taille d'écran. Normalisez avant de grouper dessus.reviews : 19 lignes portent une note de 0 à côté d'un nombre d'avis de 0, ce qui est une annonce que personne n'a encore notée, pas une annonce mal notée.rating, avec la même réserve sur les zéros. Notre exécution allait de 0 à 5 929./product/…/sku/<sku> sur 58 lignes et /site/-/<sku>.p?skuId=<sku> sur 27. Toutes deux contiennent le SKU : l'adresse est un lien, pas une identité.query et de la date d'exécution.Onze colonnes par ligne · CSV, JSON ou Excel
Deux choses à anticiper. D'abord, ce schéma n'est pas la forme de catalogue à dix-sept colonnes de nos pages distributeurs : pas de parsed_price, pas de currency, pas d'availability, pas de description et - surtout - pas de status par ligne. Si vous écrivez un seul importateur pour plusieurs sources, celui-ci a besoin de sa propre branche. Ensuite, la profondeur n'est pas fixe. Sept exécutions de la même URL de recherche ont renvoyé 2, 3, 10, 14, 15, 18 et 23 lignes, toujours à partir du rang 1. Le catalogue du fournisseur marque lui-même ce service Partial avec la note -blocked (needs residential proxy). Les lignes arrivent ; combien, nous ne le promettrons pas à partir de sept exécutions, et nous ne citons aucun taux de réussite.
Lancez la même requête selon un calendrier et conservez query, sku, position et la date. Comme sept de nos SKU sont apparus dans plus d'une exécution, la jointure est simple : même SKU, autre rang, autre jour. Cette série, une capture d'écran ne vous la donne pas.
Le prix est arrivé sur 78 de nos 85 lignes. Retirez le symbole une fois à l'import, stockez le nombre à côté du SKU et de la date, et un balayage hebdomadaire de quelques URL de recherche devient une série de prix sur toute une catégorie plutôt que sur une poignée de produits.
rating et reviews sont arrivées ensemble sur 81 lignes. Triée par nombre d'avis, une page de résultats indique quels produits ont accumulé de l'attention et lesquels sont nouveaux - à condition d'exclure les lignes 0/0, qui signifient non noté et non mauvais.
Il n'y a pas de colonne de description : la configuration vit donc dans name. L'analyser sur une page de résultats entière donne un tableau de spécifications comparable pour une catégorie - et model, sur les 69 lignes qui le portaient, est ce qui permet de retrouver la même unité dans le catalogue d'un autre distributeur.
Une seule fois, à l'inscription. Sans carte, et sans rien à résilier ensuite.
Facturé sur les lignes réellement renvoyées - ce qui est le bon sens ici, car une URL de recherche peut produire deux lignes ou deux douzaines. Notre exécution de 23 lignes a coûté 23 lignes ; celle de 2 lignes en a coûté 2.
Les crédits n'expirent pas au rythme mensuel. Suivez une catégorie tout l'automne et arrêtez-vous l'été si le travail a cette forme.
LIVESCRAPER10 au paiement.L'autre service à résultats classés d'ici : une requête entre, une ligne par offre sort. Lancez les deux sur le même produit et vous verrez le rayon du distributeur à côté du marché ouvert.
Le même marché du matériel chez un autre distributeur. Lisez sa page avant de planifier une exécution - son histoire est l'inverse de celle-ci.
Le prix entreprise pour du matériel comparable, sur le schéma à dix-sept colonnes. Là-bas une URL de catégorie se déploie comme une URL de recherche le fait ici.
Une image datée de la page de résultats à côté des lignes classées. Quand la preuve est le rang, c'est l'image qui la rend défendable.
Prix, notes et ordre du rayon sur une page de recherche publique sont des informations concurrentielles ordinaires. Les réserves à nommer portent sur le rythme, et sur la franchise là où nous n'avons pas pu vérifier.
Un prix, un titre de produit, une note et l'ordre d'apparition des annonces sont des faits sur des biens proposés à la vente. Les lire sur une page servie à tout visiteur, c'est ce qu'un acheteur fait à la main, à une vitesse utile. Rien dans les onze colonnes ne décrit une personne : ni nom, ni adresse e-mail, ni numéro de téléphone, ni compte - les questions de protection des données qui façonnent nos services tournés vers les personnes ne se posent donc pas ici.
Deux choses sont propres à ce site. D'abord le rythme. Une page de recherche est une requête plus lourde qu'une fiche produit et la profondeur obtenue a varié de deux à vingt-trois lignes pour la même requête : nous travaillons à une allure raisonnable et vous devriez planifier en conséquence plutôt que de marteler une URL pour obtenir une page plus profonde. Le catalogue du fournisseur marque lui-même ce service Partial et note qu'il exige un proxy résidentiel - la même histoire vue de l'autre bout. Ensuite, et nous préférons le dire qu'enjoliver : nous n'avons pas pu lire le robots.txt de Best Buy. Trois récupérations ordinaires depuis notre machine le 12 août 2026 - la page d'accueil, le fichier robots et l'URL de recherche - ont expiré ou vu la connexion coupée, tandis qu'un site sans rapport répondait normalement dans la même session. Cette page ne cite donc aucun résumé du robots.txt, puisque nous n'avons pas vu le fichier.
Nos propres conditions sont les mêmes que pour tous les autres services d'ici. Uniquement des pages accessibles au public, rien derrière une connexion, aucun traqueur tiers sur la couche de données, et les exports sont supprimés automatiquement au bout de 30 jours. Vos 500 premières lignes sont gratuites et n'exigent pas de carte.
/site/searchpage.jsp?st=…, et chacune a renvoyé une ligne par annonce de cette page avec son rang dans position. C'est la forme autour de laquelle ce service est construit.query, name, sku, brand, model, price, rating, reviews, image, url, position. Il n'y a ni parsed_price, ni currency, ni availability, ni description, ni status par ligne.brand est une sous-chaîne initiale de name : un titre qui commence par le fabricant donne « HP », et un titre qui commence par une taille d'écran donne une taille d'écran. Normalisez, ou extrayez vous-même le fabricant de name.sku. Il est arrivé sur les 85 lignes, porte 70 valeurs distinctes et figure aussi dans url sur chaque ligne - y compris les 27 dont l'adresse utilise la forme /site/-/<sku>.p?skuId= plutôt que /product/…/sku/. S'il vous faut plutôt rapprocher d'un autre distributeur, utilisez model, arrivé sur 69 lignes.price arrive tel qu'affiché, symbole compris, sur 78 de nos 85 lignes, et ce schéma n'a ni colonne numérique ni colonne de devise distincte. Retirez le symbole à l'import si vous comptez calculer dessus.Une URL de recherche, une ligne pour chaque annonce qui s'y trouve, avec le prix, la note et le rang qu'elle occupait. Vos 500 premières lignes sont gratuites, puis 0,002 $ l'unité.
Best Buy est un distributeur d'électronique grand public, et le service de cette page lit ses résultats de recherche plutôt que ses fiches produit. Cette distinction traverse tout le reste. Vous soumettez une URL de la forme /site/searchpage.jsp?st=…, et ce qui revient est une ligne pour chaque annonce de cette page, portant dans une colonne position le rang qu'elle occupait. Nos sept exécutions ont toutes soumis la même requête sur les ordinateurs portables et produit ensemble quatre-vingt-cinq lignes, avec des rangs allant de un à vingt-trois. Si vous voulez la fiche complète d'un produit, c'est la mauvaise forme ; si vous voulez l'état d'une catégorie un jour donné, c'est exactement la bonne.
Le schéma compte onze colonnes et n'est pas la forme à dix-sept de nos catalogues distributeurs. Pas de colonne de prix calculable, pas de devise, pas de disponibilité, pas de description et - la plus susceptible de mordre - aucun indicateur de statut par ligne. Dans les services à dix-sept colonnes, une récupération bloquée produit tout de même une ligne qui le dit. Ici, une exécution qui atteint moins de page renvoie simplement moins de lignes, et rien dans le fichier ne distingue un rayon court d'une exécution courte. Notre preuve est directe : sept exécutions d'une requête identique ont renvoyé deux, trois, dix, quatorze, quinze, dix-huit et vingt-trois lignes, chacune commençant au rang un. Le catalogue du fournisseur marque ce service Partial et consigne qu'il exige un proxy résidentiel. Comptez les lignes par exécution, gardez le décompte et alertez en cas de chute, au lieu de supposer que la catégorie a rétréci.
Deux colonnes méritent une lecture attentive. sku est le numéro de produit propre à Best Buy et le bon élément de jointure : il est arrivé sur chaque ligne, portait soixante-dix valeurs distinctes sur nos quatre-vingt-cinq, et figure dans l'URL de la ligne elle-même dans les deux formes d'adresse observées. brand n'est pas ce que son nom suggère. Sur les quatre-vingt-cinq lignes, c'est une sous-chaîne initiale du titre de l'annonce, ce qui donne un vrai fabricant quand le titre commence par un fabricant et une taille d'écran ou un mot égaré sinon - notre export contient « HP » et « Dell » à côté de « Customer » et d'un fragment de description produit. Normalisez avant de grouper. model, présent sur soixante-neuf lignes, est l'identifiant le plus clairsemé mais le plus portable, et c'est lui qui permet de retrouver la même unité dans le catalogue d'un autre distributeur. Notes et nombres d'avis sont arrivés ensemble sur quatre-vingt-une lignes, et dix-neuf d'entre elles portent zéro dans les deux, ce qui signifie non noté et non mal noté.
Une chose que nous ne ferons pas : décrire un fichier que nous n'avons pas pu lire. Le 12 août 2026, trois récupérations ordinaires depuis notre machine - la page d'accueil de Best Buy, son robots.txt et l'URL de recherche elle-même - ont expiré ou vu leur connexion coupée, tandis qu'un distributeur sans rapport répondait normalement dans la même session. Cette page ne porte donc aucun résumé du robots.txt du site, puisque nous ne l'avons pas vu, et aucun taux de réussite, puisque sept exécutions d'une requête ne peuvent en soutenir un. Ce que nous énonçons, c'est ce que contient notre propre export et comment il a été mesuré. Uniquement des pages accessibles au public, rien derrière une connexion, aucun traqueur tiers sur la couche de données, les exports sont supprimés automatiquement au bout de 30 jours, et vos 500 premières lignes sont gratuites sans carte bancaire.