Newegg ist einer der größten Onlinehändler für Elektronik und Computerhardware, und er verteidigt sich. Jeder Lauf, den wir haben, wurde abgewiesen, bevor er ein Produkt erreichte - diese Seite sagt Ihnen also, wie der Export aussieht, was im Weg steht und was wir genau gemessen haben und was nicht. Diese Reihenfolge ist Absicht.
Drei unserer fünf Läufe übermittelten eine echte Newegg-Produkt-URL. Alle drei kamen mit blocked (needs residential proxy) zurück. Die übrigen zwei nutzten eine Platzhalter-Adresse und lieferten http 404. Wir haben also überhaupt keine Newegg-Produktdaten, und diese Seite beginnt damit, statt es unter einer Funktionsliste zu vergraben.
Rufen Sie dieselbe Produkt-URL selbst mit einem Browser-User-Agent ab, und Sie bekommen HTTP 302 und 110 Bytes - eine Weiterleitung auf einen Pfad, der wörtlich /areyouahuman heißt. Keine Produktseite, kein Fehler, eine Zwischenseite. Das ist mit einem einzigen Befehl reproduzierbar und die klarste Einzelerklärung dafür, warum die Läufe scheiterten.
Neweggs eigener Eintrag im Servicekatalog trägt den Hinweis „Need Residential Paid proxy“. Unsere Läufe, der Hinweis des Anbieters und ein Live-Abruf sind drei unabhängige Quellen, und sie stimmen überein. Wenn sie sich widersprächen, würden wir es Ihnen sagen; hier tun sie es nicht.
Ein Residential Proxy ist die dokumentierte Voraussetzung, und Sie müssen ihn beistellen - er ist nicht still in diesem Dienst enthalten. Wenn Sie einen haben, ist das Schema unten das, was Sie füllen werden. Wenn nicht, rechnen Sie damit, dass die Statusspalte blocked liest, und planen Sie für genau diesen Händler eine andere Quelle ein.
Der Export enthält price und parsed_price, sku und sku_code, image und images, url und product_url. Jeweils eines ist zum Lesen und eines zum Rechnen da. Gut zu wissen, bevor Sie den Importer schreiben - und aus der Kopfzeile erkennbar, obwohl unsere Läufe keine Zeilen lieferten.
Die letzte Spalte ist status, geschrieben von unserem Exporter und nicht von der Website. Eine abgewiesene Anfrage kommt als Zeile mit ihrem Grund zurück, statt zu verschwinden - und genau deshalb können wir Ihnen das alles überhaupt sagen. Gleichen Sie über diese Spalte ab, und eine Mauer ist am ersten Tag sichtbar statt drei Wochen später.
Aus der Kopfzeile eines echten Exports dieses Dienstes gelesen, in der Reihenfolge des Tabellenblatts. Keiner unserer Läufe lieferte Daten unter dieser Kopfzeile - siehe den Hinweis unter der Tabelle -, jeder Eintrag sagt also, wofür die Spalte da ist, und hört dort auf.
sku weiter unten - prüfen Sie beide, bevor Sie einen Verknüpfungsschlüssel wählen, denn in dieser Schema-Familie werden sie unabhängig gefüllt und wurden schon identisch wie auch verschieden beobachtet.url, das die Adresse meldet, aus der die Zeile tatsächlich entstanden ist; die beiden unterscheiden sich, sobald ein übermittelter Link weiterleitet - und auf dieser Website ist eine Weiterleitung genau das, was eine gewöhnliche Anfrage erhält.parsed_price, wenn Sie rechnen müssen.rating. Wo beide vorhanden sind, gehören sie zusammen; eine Note ohne Anzahl dahinter reicht nicht zum Ranken.sku_code.query, um Weiterleitungen zu erkennen - hier besonders lohnend, angesichts dessen, wohin eine nicht authentifizierte Anfrage weitergeleitet wird.blocked (needs residential proxy) bei den drei echten Produktanfragen und http 404 bei den zwei Platzhalter-Läufen. Diese Spalte trägt auf dieser Seite die eigentliche Nachricht.Siebzehn Spalten pro Zeile · CSV, JSON oder Excel
Wir haben fünf Läufe dieses Dienstes, und nicht einer lieferte ein Newegg-Produkt. Drei übermittelten eine echte Produkt-URL und kamen mit blocked (needs residential proxy) zurück; zwei übermittelten eine Platzhalter-Adresse und kamen mit http 404 zurück. Die siebzehn Spaltennamen oben sind deshalb echt - sie sind die Kopfzeile, die diese Exporte tragen, und eine Kopfzeile ist eine echte Kopfzeile, auch wenn nichts darunter steht -, während uns die Werte vollständig unbekannt sind und deshalb nirgends auf dieser Seite beschrieben werden. Zwei Dinge belegen die Blockade, statt sie bei unserem Wort zu belassen. Der eigene Servicekatalog des Anbieters hängt Newegg den Hinweis „Need Residential Paid proxy“ an. Und ein direkter Abruf derselben Produkt-URL mit einem Browser-User-Agent liefert HTTP 302 und 110 Bytes, weitergeleitet auf einen Pfad namens /areyouahuman - eine Bot-Zwischenseite statt einer Seite. Noch etwas haben wir bewusst nicht getan: CDW nutzt genau dieses siebzehnspaltige Schema, und dessen Export trägt echte Preise. Diese Werte zu verwenden, um Neweggs Spalten zu illustrieren, wäre eine Vermutung im Gewand einer Messung, und deshalb tut diese Seite es nicht.
Hardwarepreise bewegen sich nach Angebot und nicht nach Jahreszeit, und eine einzelne Ablesung sagt fast nichts. Behalten Sie parsed_price, currency und das Laufdatum über einen Zeitplan hinweg, und die Reihe ist das Ergebnis. Bei diesem Händler unter dem Vorbehalt, überhaupt durchzukommen.
Newegg verkauft an die Öffentlichkeit; unser CDW-Scraper liest dieselbe Hardware, ausgepreist für Geschäftskunden, auf demselben Schema. Das Paar ist das Interessante - ein Importer, zwei Zielgruppen, dieselben Artikelnummern.
Fahren Sie eine Menge von Produkt-URLs nach Zeitplan und behalten Sie name, brand und beide Identifikatoren samt Laufdatum. Produkte werden häufiger umbenannt, neu beschrieben und ausgelistet, als irgendwer ankündigt.
Zwei Identifikator-Spalten sind der Grund, warum es dieses Schema gibt. Wo eine Liste neben ihrer eigenen auch eine Hersteller-Artikelnummer veröffentlicht, ist das der Wert, der den Wechsel zu einem anderen Händler übersteht - prüfen Sie also beide, bevor Sie einen Verknüpfungsschlüssel wählen.
Einmalig, bei der Anmeldung. Keine Karte, und nichts, was danach gekündigt werden müsste.
Abgerechnet nach tatsächlich gelieferten Zeilen. Eine Zeile, die mit einem anderen als einem erfolgreichen status zurückkommt, ist keine Zeile mit Produktdaten und wird auch nicht als solche berechnet - bei diesem Händler besonders erwähnenswert.
Guthaben verfällt nicht im Monatsrhythmus. Fahren Sie im März einen Durchlauf und danach nichts mehr bis September, wenn die Arbeit so aussieht.
LIVESCRAPER10.Derselbe Hardwaremarkt, dieselben siebzehn Spalten - und unsere Läufe kamen mit echten Preisen zurück. Eine Kategorie-URL fächert sich dort in eine Zeile je Produkt auf.
Dasselbe Schema, gerichtet auf einen großen Endkundenhändler, wenn Sie einen Sortimentskatalog statt Komponenten brauchen.
Noch ein Katalog auf diesem Schema, dessen beide Identifikator-Spalten wirklich verschiedene Nummern tragen - nützlich, um zu sehen, wie sich das Paar verhält.
Ein datiertes Bild dessen, was eine URL tatsächlich ausgeliefert hat. Bei einer Website, die mit einer Zwischenseite antwortet, ist dieses Bild der Beleg.
Produktfakten auf einer öffentlich erreichbaren Liste sind gewöhnliche Wettbewerbsinformationen. Die eigentliche Frage bei dieser Website ist nicht, ob Sie sie lesen dürfen, sondern ob Sie es können - und dazu sind wir lieber offen.
Ein Preis, ein Produktname, eine Marke und ein Lagerstatus sind Fakten über zum Verkauf angebotene Waren. Sie von einer Seite zu lesen, die jedem Besucher ausgeliefert wird, ist dieselbe Tätigkeit, die ein Einkäufer von Hand ausführt, nur in nützlichem Tempo. Nichts in den siebzehn Spalten beschreibt eine Person: kein Name, keine E-Mail-Adresse, keine Telefonnummer, kein Konto - die datenschutzrechtlichen Fragen, die unsere personenbezogenen Dienste prägen, stellen sich hier also nicht.
Das ehrliche Thema ist der Zugang, nicht die Erlaubnis. Newegg betreibt eine Bot-Abwehrschicht, die jede unserer Anfragen beantwortet hat und die auch einen frischen direkten Abruf mit einer Weiterleitung auf eine Zwischenseite statt auf eine Seite beantwortet. Das überwinden wir nicht. Wir lösen keine Challenges, wir geben uns nicht als angemeldeter Käufer aus, und wir stellen diesen Dienst nicht als Weg um einen Schutz herum dar, den die Website bewusst errichtet hat - was wir tun, ist die Abweisung in der Statusspalte zu melden, damit Sie sie sehen. Der dokumentierte Weg ist ein Residential Proxy, den Sie beistellen. Wenn Sie abwägen, ob Sie das tun, sind die maßgeblichen Fragen Ihre eigene Vereinbarung mit Newegg und die Einschätzung Ihrer Rechtsberatung, nicht unsere.
Unsere eigenen Bedingungen sind dieselben wie bei jedem anderen Dienst hier. Nur öffentlich zugängliche Seiten, nichts hinter einem Login, keine Tracker Dritter auf der Datenebene, und Exporte werden nach 30 Tagen automatisch gelöscht. Ihre ersten 500 Zeilen sind gratis und brauchen keine Kreditkarte.
blocked (needs residential proxy); zwei übermittelten eine Platzhalter-Adresse und lieferten http 404. Auf dieser Seite stehen keine Newegg-Werte, weil wir keine haben - und wir sagen Ihnen das lieber auf dem ersten Bildschirm als nach Ihrer Anmeldung./areyouahuman - eine Zwischenseite statt einer Produktseite. Der veröffentlichte Diensthinweis zu Newegg sagt dasselbe mit anderen Worten: „Need Residential Paid proxy“. Unsere Läufe sind die dritte Quelle, die es sagt.blocked als Status zurück - und so erfahren Sie es am ersten Tag, statt drei Wochen später eine leere Spalte zu entdecken.query, sku_code, product_url, name, description, parsed_price, price, currency, availability, rating, reviews, images, brand, sku, url, image und status. Eine Zeile je übermittelter Produkt-URL. Diese Namen stammen aus der Kopfzeile eines echten Exports - eine Kopfzeile ist echt, ob etwas darunter steht oder nicht.Siebzehn Spalten, dokumentiert aus einer echten Export-Kopfzeile, ein Hindernis, dokumentiert aus drei unabhängigen Quellen, und nirgends erfundene Zeilen. Ihre ersten 500 Zeilen sind gratis, danach je 0,002 $.
Newegg ist einer der größten Onlinehändler für Computerhardware, Komponenten und Unterhaltungselektronik, und damit ein naheliegender Katalog, den man in einer Tabelle haben will: Komponentenpreise bewegen sich nach Angebot und nicht nach Jahreszeit, und eine Tabelle davon über die Zeit ist mehr wert als jede einzelne Ablesung. Das Hindernis ist nicht, dass die Fakten privat wären. Es ist, dass die Website sich verteidigt, und diese Seite beginnt damit, statt ein Produkt zu beschreiben, das sie nicht geliefert hat.
Jeder Lauf, den wir haben, wurde abgewiesen. Drei der fünf übermittelten eine echte Newegg-Produkt-URL, und alle drei lieferten blocked (needs residential proxy); die übrigen zwei nutzten eine Platzhalter-Adresse und lieferten http 404. Das ist nicht dasselbe wie ungetestet - die Adresse wurde in einer Sitzung dreimal versucht und jedes Mal abgewiesen. Zwei weitere Quellen sagen unabhängig dasselbe. Der Newegg angehängte veröffentlichte Diensthinweis lautet „Need Residential Paid proxy“. Und ein direkter Abruf derselben Produkt-URL mit einem gewöhnlichen Browser-User-Agent liefert HTTP 302 und 110 Bytes, weitergeleitet auf einen Pfad, der wörtlich /areyouahuman heißt - eine Bot-Zwischenseite statt einer Produktseite, mit einem einzigen Befehl reproduzierbar. Unsere Läufe, der Hinweis des Anbieters und ein Live-Abruf stimmen überein; wo Quellen sich widersprechen, sagen wir es, und hier tun sie es nicht.
Was die Läufe belegen, ist die Form des Exports. Siebzehn Spalten je Produkt-URL - query, sku_code, product_url, name, description, parsed_price, price, currency, availability, rating, reviews, images, brand, sku, url, image und status -, gelesen aus der Kopfzeile, die diese Exporte tragen, und die ist eine echte Kopfzeile, ob etwas darunter steht oder nicht. Vier dieser Spalten sind Paare: Preis als Anzeige gegen Preis als Zahl, zwei Identifikatorfelder, Hauptbild gegen alle Bilder, angefragte URL gegen kanonische URL. Zu wissen, welche Hälfte man nimmt, bevor man den Importer schreibt, ist der Unterschied zwischen einem sauberen Laden und einer Neufassung - und es ist allein aus der Kopfzeile erkennbar.
Eines haben wir bewusst nicht getan. Unser CDW-Scraper nutzt genau dieses Schema, und seine Läufe kamen mit echten Preisen zurück; es wäre also leicht gewesen, diese Spalten mit jenen Werten zu illustrieren und den Rest der Familienähnlichkeit zu überlassen. Das sind CDWs Zahlen von CDWs Seiten, und sie hier zu präsentieren wäre eine Vermutung im Gewand einer Messung. Sie finden auf dieser Seite deshalb nirgends Beispielpreise, Artikelnummern oder Bewertungen. Zum Zugang: wir lösen keine Bot-Challenges, wir geben uns nicht als angemeldeter Käufer aus, und wir verkaufen das nicht als Weg um einen Schutz herum, den der Händler bewusst errichtet hat - eine abgewiesene Anfrage kommt als Zeile mit ihrem Grund zurück, und so erfahren Sie es am ersten Tag. Ein Residential Proxy ist der dokumentierte Weg, und Sie stellen ihn bei. Wenn Sie Hardwarepreise wollen, die unsere Läufe tatsächlich erzeugt haben, liest der CDW Products Scraper denselben Markt auf demselben Schema, und dort liefert eine einzige Kategorie-URL eine Zeile für jedes Produkt darauf. Nur öffentlich zugängliche Seiten, keine Tracker Dritter auf der Datenebene, und Exporte werden nach 30 Tagen automatisch gelöscht. Ihre ersten 500 Zeilen sind gratis und brauchen keine Kreditkarte.