Newegg est l'un des plus grands détaillants en ligne d'électronique et de matériel informatique, et il se défend. Toutes les exécutions dont nous disposons ont été refusées avant d'atteindre un produit - cette page vous dit donc à quoi ressemble l'export, ce qui fait obstacle, et ce que nous avons mesuré et pas mesuré. Cet ordre est délibéré.
Trois de nos cinq exécutions ont soumis une véritable URL produit Newegg. Les trois sont revenues avec blocked (needs residential proxy). Les deux autres utilisaient une adresse fictive et ont renvoyé http 404. Nous n'avons donc aucune donnée produit Newegg, et cette page commence par là plutôt que de l'enfouir sous une liste de fonctionnalités.
Récupérez vous-même cette même URL produit avec un user-agent de navigateur et vous obtenez un HTTP 302 et 110 octets - une redirection vers un chemin littéralement nommé /areyouahuman. Pas une page produit, pas une erreur : une page intermédiaire. C'est reproductible en une seule commande et c'est l'explication la plus claire de l'échec des exécutions.
L'entrée de Newegg dans le catalogue de services porte la note « Need Residential Paid proxy ». Nos exécutions, la note du fournisseur et une récupération en direct sont trois sources indépendantes et elles concordent. Si elles se contredisaient nous vous le dirions ; ici elles ne se contredisent pas.
Un proxy résidentiel est l'exigence documentée, et c'est à vous de le fournir plutôt qu'à ce service de l'inclure discrètement. Si vous en avez un, le schéma ci-dessous est ce que vous remplirez. Sinon, attendez-vous à ce que la colonne de statut affiche blocked et prévoyez une autre source pour ce détaillant en particulier.
L'export contient price et parsed_price, sku et sku_code, image et images, url et product_url. Dans chaque paire, l'une sert à lire et l'autre à calculer. Bon à savoir avant d'écrire l'importateur, et connaissable depuis l'en-tête même si nos exécutions n'ont renvoyé aucune ligne.
La dernière colonne est status, écrite par notre exportateur et non par le site. Une requête refusée revient sous forme de ligne portant son motif au lieu de disparaître, et c'est ce qui nous a permis de vous dire tout ce qui précède. Rapprochez sur cette colonne et un mur est visible dès le premier jour plutôt que trois semaines plus tard.
Lues dans la ligne d'en-tête d'un véritable export de ce service, dans l'ordre de la feuille. Aucune de nos exécutions n'a renvoyé de données sous cet en-tête - voyez la note sous le tableau -, chaque entrée dit donc à quoi sert la colonne, et s'arrête là.
sku plus bas - vérifiez les deux avant de choisir une clé de jointure, car dans cette famille de schémas ils sont remplis indépendamment et ont été observés tantôt identiques, tantôt différents.url, qui indique l'adresse d'où la ligne a effectivement été produite ; les deux divergent dès qu'un lien soumis redirige - et sur ce site, une redirection est précisément ce que reçoit une requête ordinaire.parsed_price lorsque vous devez calculer.rating. Là où les deux sont présents ils vont ensemble ; une note sans effectif derrière ne suffit pas pour classer.sku_code.query pour repérer les redirections - cela vaut particulièrement la peine ici, vu vers quoi une requête non authentifiée est redirigée.blocked (needs residential proxy) sur les trois requêtes produit réelles et http 404 sur les deux requêtes fictives. C'est la colonne qui porte la véritable nouvelle sur cette page.Dix-sept colonnes par ligne · CSV, JSON ou Excel
Nous détenons cinq exécutions de ce service et pas une n'a renvoyé un produit Newegg. Trois ont soumis une véritable URL produit et sont revenues avec blocked (needs residential proxy) ; deux ont soumis une adresse fictive et sont revenues avec http 404. Les dix-sept noms de colonnes ci-dessus sont donc réels - c'est la ligne d'en-tête que portent ces exports, et une ligne d'en-tête est réelle qu'il y ait ou non quelque chose en dessous - tandis que les valeurs nous sont entièrement inconnues et ne sont donc décrites nulle part sur cette page. Deux éléments corroborent le blocage plutôt que de le laisser à notre seule parole. Le propre catalogue de services du fournisseur attache à Newegg la note « Need Residential Paid proxy ». Et récupérer la même URL produit directement, avec un user-agent de navigateur, renvoie un HTTP 302 et 110 octets redirigeant vers un chemin nommé /areyouahuman - une page anti-robots plutôt qu'une page. Une chose de plus que nous n'avons délibérément pas faite : CDW partage exactement ce schéma à dix-sept colonnes et son export porte, lui, de vrais prix. Utiliser les valeurs de CDW pour illustrer les colonnes de Newegg serait une supposition déguisée en mesure, et cette page ne le fait donc pas.
Les prix du matériel bougent au gré de l'offre et non des saisons, et une lecture isolée ne dit presque rien. Conservez parsed_price, currency et la date d'exécution au fil d'un calendrier, et c'est la série qui est le livrable. Sous réserve, chez ce détaillant, de réussir à passer.
Newegg vend au public ; notre scraper CDW lit le même matériel chiffré pour des acheteurs professionnels, sur le schéma identique. C'est la paire qui est intéressante - un importateur, deux publics, les mêmes références.
Lancez un jeu d'URL produit selon un calendrier et conservez name, brand et les deux identifiants avec la date d'exécution. Les produits sont renommés, redécrits et retirés plus souvent que quiconque ne l'annonce.
Deux colonnes d'identifiant, c'est le motif pour lequel ce schéma existe. Là où une liste publie une référence fabricant en plus de la sienne, c'est cette valeur qui survit au passage à un autre détaillant - vérifiez donc les deux avant de choisir une clé de jointure.
Une seule fois, à l'inscription. Sans carte, et sans rien à résilier ensuite.
Facturé sur les lignes réellement renvoyées. Une ligne qui revient avec un status autre qu'un succès n'est pas une ligne de données produit, et ne vous est pas facturée comme telle - ce qui, chez ce détaillant précisément, mérite d'être su.
Les crédits n'expirent pas au rythme mensuel. Lancez un balayage en mars puis plus rien jusqu'en septembre si le travail a cette forme.
LIVESCRAPER10 au paiement.Le même marché du matériel, les mêmes dix-sept colonnes - et nos exécutions sont revenues avec de vrais prix. Là-bas, une URL de catégorie se déploie en une ligne par produit.
Le même schéma pointé vers un grand détaillant grand public, s'il vous faut un catalogue généraliste plutôt que des composants.
Un autre catalogue sur ce schéma dont les deux colonnes d'identifiant portent des numéros réellement différents - utile pour voir comment la paire se comporte.
Une image datée de ce qu'une URL a réellement servi. Sur un site qui répond par une page intermédiaire, cette image est la preuve.
Des faits produit sur une liste accessible au public relèvent de l'information concurrentielle ordinaire. La question qui compte vraiment sur ce site n'est pas si vous pouvez les lire mais si vous y parvenez, et nous préférons être francs là-dessus.
Un prix, un nom de produit, une marque et un état de stock sont des faits sur des biens mis en vente. Les lire sur une page servie à tout visiteur, c'est la même activité qu'un acheteur mène à la main, à une vitesse utile. Rien dans les dix-sept colonnes ne décrit une personne : ni nom, ni adresse e-mail, ni téléphone, ni compte - les questions de protection des données qui façonnent nos services portant sur des personnes ne se posent donc pas ici.
Le vrai sujet est l'accès, pas la permission. Newegg exploite une couche anti-robots qui a répondu à chacune de nos requêtes, et qui répond à une récupération directe et récente par une redirection vers une page intermédiaire plutôt que vers une page. Nous ne la contournons pas. Nous ne résolvons pas de défis, nous ne nous faisons pas passer pour un acheteur connecté, et nous ne présentons pas ce service comme un moyen de contourner une protection que le site a délibérément dressée - ce que nous faisons, c'est signaler le refus dans la colonne de statut pour que vous le voyiez. La voie documentée est un proxy résidentiel, à vous d'en apporter un. Si vous pesez le pour et le contre, la question pertinente est votre propre accord avec Newegg et l'avis de votre conseil, pas le nôtre.
Nos propres conditions sont les mêmes que pour tous les autres services d'ici. Uniquement des pages accessibles au public, rien derrière une connexion, aucun traqueur tiers sur la couche de données, et les exports sont supprimés automatiquement au bout de 30 jours. Vos 500 premières lignes sont gratuites et n'exigent pas de carte.
blocked (needs residential proxy) ; deux ont soumis une adresse fictive et ont renvoyé http 404. Il n'y a aucune valeur Newegg sur cette page parce que nous n'en avons aucune, et nous préférons vous le dire dès le premier écran plutôt qu'après votre inscription./areyouahuman - une page intermédiaire plutôt qu'une page produit. La note de service publiée pour Newegg dit la même chose autrement : « Need Residential Paid proxy ». Nos exécutions sont la troisième source à le dire.blocked comme statut, et c'est ainsi que vous l'apprenez dès le premier jour au lieu de découvrir une colonne vide trois semaines plus tard.query, sku_code, product_url, name, description, parsed_price, price, currency, availability, rating, reviews, images, brand, sku, url, image et status. Une ligne par URL produit soumise. Ces noms viennent de la ligne d'en-tête d'un véritable export - un en-tête est réel qu'il y ait ou non quelque chose en dessous.Dix-sept colonnes documentées depuis un véritable en-tête d'export, un obstacle documenté depuis trois sources indépendantes, et aucune ligne inventée nulle part. Vos 500 premières lignes sont gratuites, puis 0,002 $ l'unité.
Newegg est l'un des plus grands détaillants en ligne de matériel informatique, de composants et d'électronique grand public, ce qui fait de son catalogue une chose évidente à vouloir dans un tableur : les prix des composants bougent au gré de l'offre et non des saisons, et un tableau de ces prix dans le temps vaut plus que n'importe quelle lecture isolée. L'obstacle n'est pas que les faits soient privés. C'est que le site se défend, et cette page va commencer par là plutôt que de décrire un produit qu'elle n'a pas livré.
Toutes les exécutions dont nous disposons ont été refusées. Trois des cinq ont soumis une véritable URL produit Newegg et les trois ont renvoyé blocked (needs residential proxy) ; les deux autres utilisaient une adresse fictive et ont renvoyé http 404. Ce n'est pas la même chose que non testé - l'adresse a été essayée trois fois en une session et refoulée à chaque fois. Deux autres sources disent la même chose indépendamment. La note de service publiée attachée à Newegg indique « Need Residential Paid proxy ». Et récupérer cette même URL produit directement, avec un user-agent de navigateur ordinaire, renvoie un HTTP 302 et 110 octets redirigeant vers un chemin littéralement nommé /areyouahuman - une page anti-robots plutôt qu'une page produit, reproductible en une seule commande. Nos exécutions, la note du fournisseur et une récupération en direct concordent ; là où les sources divergent nous le disons, et ici elles ne divergent pas.
Ce que les exécutions établissent, c'est la forme de l'export. Dix-sept colonnes par URL produit - query, sku_code, product_url, name, description, parsed_price, price, currency, availability, rating, reviews, images, brand, sku, url, image et status - lues dans la ligne d'en-tête que portent ces exports, laquelle est une véritable ligne d'en-tête qu'il y ait ou non quelque chose en dessous. Quatre de ces colonnes fonctionnent par paires : prix affiché contre prix calculable, deux champs d'identifiant, image principale contre toutes les images, URL demandée contre URL canonique. Savoir quelle moitié utiliser avant d'écrire l'importateur fait la différence entre un chargement propre et une réécriture, et cela se sait depuis le seul en-tête.
Une chose que nous n'avons délibérément pas faite. Notre scraper CDW utilise exactement ce schéma et ses exécutions sont bel et bien revenues avec de vrais prix : il aurait donc été facile d'illustrer ces colonnes avec ces valeurs et de laisser l'air de famille faire le reste. Ce sont les chiffres de CDW issus des pages de CDW, et les présenter ici serait une supposition déguisée en mesure. Vous ne trouverez donc nulle part sur cette page de prix, de références ou de notes d'exemple. Sur l'accès : nous ne résolvons pas de défis anti-robots, nous ne nous faisons pas passer pour un acheteur connecté, et nous ne vendons pas cela comme un moyen de contourner une protection que le détaillant a délibérément dressée - une requête refusée revient sous forme de ligne portant son motif, et c'est ainsi que vous l'apprenez dès le premier jour. Un proxy résidentiel est la voie documentée, et c'est à vous de le fournir. Si vous voulez des prix de matériel que nos exécutions ont réellement produits, le CDW Products Scraper lit le même marché sur le même schéma, et là-bas une seule URL de catégorie renvoie une ligne pour chaque produit qu'elle contient. Uniquement des pages accessibles au public, aucun traqueur tiers sur la couche de données, et les exports sont supprimés automatiquement au bout de 30 jours. Vos 500 premières lignes sont gratuites et n'exigent pas de carte.