CDW est un revendeur de technologies et, contrairement aux autres catalogues de ce schéma, vous n'avez pas à lui donner les produits un par un. Donnez-lui une page de catégorie et il renvoie une ligne pour chaque produit qui y figure - avec le prix, la référence CDW et la référence fabricant sur chacune.
C'est là la différence utile. Notre exécution a soumis une seule page de catégorie d'ordinateurs 2-en-1 et a reçu 24 lignes, toutes signalant ok, toutes partageant la même query, chacune avec sa propre product_url. Les autres scrapers de catalogue sur ce schéma donnent une ligne par URL fournie. Ici une URL peut être un rayon entier - et l'exemple d'entrée publié pour ce service est lui-même une page de catégorie.
Les 24 lignes portaient parsed_price, price et currency. Récupérez la même page produit vous-même et vous y trouverez les deux identifiants et le nom du produit - et aucun montant en dollars, ni bloc de données structurées non plus. Le prix est rendu dans le navigateur. C'est exactement pourquoi un service qui rend la page en renvoie un et une requête HTTP ordinaire non.
sku_code est la référence propre de CDW - c'est aussi le dernier segment de l'URL produit et l'identifiant contenu dans l'URL d'image. sku est la référence du fabricant. Sur nos lignes il s'agissait de valeurs différentes, et les deux figurent sur la page en ligne. Vérifiez les deux avant de choisir une clé de jointure : la référence fabricant est celle qui survit au passage à un autre revendeur.
brand, rating, reviews, description et availability étaient vides sur les 24 lignes. Une page de liste de revendeur porte le prix et les références plutôt que le mobilier d'avis grand public : construisez l'importateur autour de ce qui arrive plutôt qu'autour de la liste des colonnes.
Notre exécution la plus ancienne porte un en-tête de onze colonnes - pas de parsed_price, pas de sku_code, pas de product_url, pas de description, pas de reviews, pas d'images. Toutes les exécutions à partir du 3 juillet ont la forme à dix-sept colonnes documentée ci-dessous. Si vous détenez un export CDW plus ancien, c'est pourquoi quatre des colonnes attendues manquent.
Deux de nos exécutions sont revenues avec blocked (needs residential proxy) le jour même où d'autres renvoyaient des lignes complètes. La colonne de statut vous dit laquelle est laquelle : une ligne bloquée est visible plutôt que silencieuse. Huit exécutions constituent un échantillon bien trop petit pour en tirer un taux de réussite, nous n'en citons donc pas - prévoyez des reprises.
Lues dans la ligne d'en-tête d'un véritable export, dans l'ordre de la feuille. Les décomptes ci-dessous viennent de notre exécution de 24 lignes : quand il est écrit ici qu'une colonne portait une valeur, cela décrit des lignes que nous détenons réellement.
product_url et l'identifiant contenu dans l'URL d'image : les trois concordent et vous pouvez vérifier une ligne contre elle-même.parsed_price pour l'arithmétique.rating. Vide sur les 24 lignes.name. Si vous devez regrouper par marque, extrayez-la du nom.sku_code. C'est la colonne sur laquelle rapprocher quand vous demandez si un autre revendeur référence le même produit physique.product_url et non query - la ligne pointe vers son propre produit, pas vers le rayon d'où elle vient.images.ok, blocked (needs residential proxy), no response (proxy) et http 404. Rapprochez sur cette colonne - surtout avec un déploiement, où le nombre de lignes seul ne vous dit rien.Dix-sept colonnes par ligne · CSV, JSON ou Excel
Deux choses au sujet de ce tableau méritent d'être lues avant de construire dessus. D'abord, les prix sont réels. Les 24 lignes de notre exécution de catégorie portaient un nombre, un prix formaté et une devise - c'est le seul catalogue de cette famille dont les colonnes monétaires arrivent remplies. Mais récupérer la même page produit directement renvoie environ 57 Ko de HTML contenant les deux références et le nom du produit et aucun prix, sans bloc de données structurées d'où en lire un. Le chiffre est rendu dans le navigateur. Notre export l'a parce que le service rend la page, et un scraper bâti sur une bibliothèque HTTP et un analyseur HTML repartirait les mains vides tout en paraissant fonctionner. Ensuite, le schéma a bougé. Notre exécution du 1er juillet porte un en-tête de onze colonnes - query, name, brand, price, currency, sku, availability, rating, url, image, status - sans parsed_price, sku_code, product_url, description, reviews ni images. Tout à partir du 3 juillet est la forme à dix-sept colonnes ci-dessus. Si vous rapprochez de l'ancien avec du nouveau, c'est là la différence.
Soumettez les pages de catégorie qui vous intéressent plutôt que d'énumérer des produits. Une URL a renvoyé deux douzaines de lignes chiffrées lors de notre exécution : un balayage hebdomadaire de quelques catégories est donc une petite tâche qui produit une véritable série de prix. C'est le flux pour lequel le service est fait.
sku est la référence du fabricant : elle survit au passage de CDW au catalogue d'un concurrent, ce que la sku_code propre à CDW ne fait pas. Associez-la à parsed_price et vous pouvez dire qui est moins cher sur une pièce identique plutôt que sur un nom qui se ressemble.
Les listes de revendeur mettent la configuration dans le titre : processeur, mémoire, stockage. description étant vide, c'est dans name que vit ce détail, et l'analyser vous donne un tableau de specs comparable sur toute une catégorie sans ouvrir une seule page.
sku_code est le numéro que CDW utilise dans son propre système, c'est donc celui contre lequel rapprocher devis et factures. Conservez les deux colonnes d'identifiant et vous pourrez parler au revendeur dans sa numérotation et à votre inventaire dans celle du fabricant.
Une seule fois, à l'inscription. Sans carte, et sans rien à résilier ensuite.
Facturé sur les lignes réellement renvoyées - ce qui compte davantage ici qu'ailleurs, car une URL de catégorie peut produire des dizaines de lignes. Notre exécution de 24 lignes a coûté 24 lignes, pas une.
Les crédits n'expirent pas au rythme mensuel. Lancez un balayage de catégories en mars puis plus rien jusqu'en septembre si le travail a cette forme.
LIVESCRAPER10 au paiement.Le même schéma visant le versant grand public du même marché matériel - la deuxième source évidente quand vous comparez un prix entreprise à un prix de détail.
Un autre distributeur dont les deux colonnes d'identifiant portent des numéros différents. Là-bas le prix est derrière une connexion ; ici il arrive.
Un autre catalogue qui s'affiche côté client, sur le même schéma - utile si vous construisez un importateur pour plusieurs sources.
Une image datée de la liste à côté de la ligne. Utile quand un prix fait preuve : le chiffre n'est pas dans le source de la page, le rendu en est donc le seul enregistrement.
Des prix et des références sur une liste accessible au public relèvent de l'information concurrentielle ordinaire. Les réserves à signaler ici portent sur le rythme et sur la lecture des préférences déclarées du site.
Un prix, un nom de produit et une référence sont des faits sur des biens mis en vente. Les lire sur une page servie à tout visiteur, c'est la même activité qu'un acheteur mène à la main, à une vitesse utile. Rien dans les dix-sept colonnes ne décrit une personne : ni nom, ni adresse e-mail, ni téléphone, ni compte - les questions de protection des données qui façonnent nos services portant sur des personnes ne se posent donc pas ici.
Deux choses sont propres à ce site. D'abord le rythme. Une URL de catégorie qui se déploie en deux douzaines de lignes fait plus de travail par requête qu'une récupération de produit unique, et deux de nos propres exécutions sont revenues bloquées un jour où d'autres passaient. Nous avançons à un rythme mesuré et nous faisons remonter un blocage dans la colonne de statut plutôt que de le relancer jusqu'à épuisement ; planifiez en conséquence et ne traitez pas le déploiement comme un multiplicateur gratuit. Ensuite, les préférences déclarées du site. Le robots.txt de CDW renvoie 403 à un client simple et 200 à un user-agent de navigateur - nous le signalons plutôt que de faire comme si le fichier s'était lu proprement. Lu ainsi, il ne comporte aucune exclusion générale pour les robots ordinaires, et ni le chemin produit ni le chemin catégorie que nous avons utilisés ne sont interdits.
Nos propres conditions sont les mêmes que pour tous les autres services d'ici. Uniquement des pages accessibles au public, rien derrière une connexion, aucun traqueur tiers sur la couche de données, et les exports sont supprimés automatiquement au bout de 30 jours. Vos 500 premières lignes sont gratuites et n'exigent pas de carte.
ok, toutes partageant la même query, chacune avec sa propre product_url. L'exemple d'entrée publié pour ce service est lui-même une page de catégorie. Une URL produit fonctionne aussi et renvoie une seule ligne.parsed_price, price et currency. Cela rend CDW inhabituel parmi les catalogues sur ce schéma, où les colonnes monétaires sont souvent vides pour des raisons propres à chaque site.query, sku_code, product_url, name, parsed_price, price, currency, images, sku, url, image et status. Vides sur les 24 : description, availability, rating, reviews et brand.sku_code est la référence propre de CDW - la valeur même qui termine l'URL produit et qui figure dans l'URL d'image - et sku est celle du fabricant. Utilisez celle de CDW pour parler d'un devis avec CDW, et celle du fabricant pour retrouver le même produit physique dans le catalogue d'un autre revendeur.parsed_price, sku_code, product_url, description, reviews ni images. Toutes les exécutions à partir du 3 juillet ont la forme à dix-sept colonnes. Si vous rapprochez l'ancien du nouveau, c'est là la différence.ok, blocked (needs residential proxy), no response (proxy) et http 404, cette dernière sur une adresse fictive qui n'existe pas. Rapprochez sur cette colonne plutôt que sur le nombre de lignes, qu'un déploiement rend insignifiant à lui seul.Une URL de catégorie, une ligne pour chaque produit qu'elle contient, avec le prix et les deux références sur chacune. Vos 500 premières lignes sont gratuites, puis 0,002 $ l'unité.
CDW est un revendeur de technologies qui vend matériel, logiciels et services aux entreprises, aux administrations et à l'enseignement. Deux choses rendent son scraping différent des autres catalogues partageant ce schéma à dix-sept colonnes, et il vaut la peine de connaître les deux avant d'écrire un importateur. La première est qu'une URL de catégorie se déploie. Notre exécution a soumis une seule page de catégorie d'ordinateurs 2-en-1 et a reçu vingt-quatre lignes, toutes signalant un succès, toutes portant l'URL soumise dans query et chacune avec sa propre product_url distincte. Partout ailleurs dans cette famille, une URL signifie une ligne. Ici une URL peut être un rayon entier, et l'exemple d'entrée publié par le fournisseur pour ce service est une page de catégorie et non une page produit - le déploiement est le flux prévu, pas un effet de bord.
La seconde est le prix. Les vingt-quatre lignes portaient un nombre calculable, un prix formaté et une devise, ce qui rend CDW inhabituel ici : sur nos autres pages de catalogue les colonnes monétaires sont vides pour des raisons propres à chaque site. Ce qui est intéressant, c'est là où ce prix n'est pas. Récupérer la même page produit directement renvoie environ 57 Ko de HTML contenant la référence CDW, la référence fabricant et le nom complet du produit - et aucun montant en dollars, sans bloc de données structurées d'où en lire un. Le chiffre est rendu dans le navigateur après l'arrivée du balisage. Un scraper bâti sur une bibliothèque HTTP et un analyseur HTML trouvera les identifiants, manquera complètement le prix, et donnera toutes les apparences de fonctionner. Ce service charge la page comme le ferait un navigateur, et c'est toute la raison pour laquelle la colonne est remplie.
Les colonnes d'identifiant méritent l'attention. sku_code est la référence propre de CDW, et c'est aussi le dernier segment de l'URL produit et l'identifiant intégré à l'URL d'image : une ligne peut donc être vérifiée contre elle-même. sku est la référence du fabricant et une valeur réellement différente. La référence fabricant survit au passage à un autre revendeur, c'est donc la colonne sur laquelle rapprocher quand vous demandez si quelqu'un d'autre référence le même matériel physique ; celle de CDW est celle qui se rapproche d'un devis. Cinq colonnes sont revenues vides sur chaque ligne - brand, rating, reviews, description et availability - ce à quoi ressemble une liste professionnelle : des références et un prix plutôt que du mobilier d'avis grand public. Le fabricant est généralement le premier mot de name si vous devez regrouper dessus.
Deux réserves dites plutôt qu'enfouies. Le schéma a changé entre le 1er et le 3 juillet 2026 : notre exécution la plus ancienne porte un en-tête de onze colonnes sans parsed_price, sku_code, product_url, description, reviews ni images, et tout ce qui suit est la forme à dix-sept colonnes. Si vous détenez un export plus ancien, c'est pourquoi les colonnes ne s'alignent pas. Et le blocage est réel et intermittent - deux de nos huit exécutions ont renvoyé blocked (needs residential proxy) le jour même où d'autres renvoyaient des lignes complètes : la colonne de statut compte, et un planning devrait inclure des reprises. Huit exécutions forment un échantillon bien trop petit pour en tirer un taux de réussite et nous n'en citons aucun. Sur l'accès : le robots.txt de CDW renvoie 403 à un client simple et 200 à un user-agent de navigateur, ce que nous signalons plutôt que de l'enjoliver ; lu ainsi il ne comporte aucune exclusion générale, et ni le chemin produit ni le chemin catégorie que nous avons utilisés ne sont interdits. Uniquement des pages accessibles au public, aucun traqueur tiers sur la couche de données, et les exports sont supprimés automatiquement au bout de 30 jours. Vos 500 premières lignes sont gratuites et n'exigent pas de carte.