Dies ist kein Scraper für Produktdetailseiten. Sie geben ihm eine Best-Buy-Suchergebnisseite, und er liefert eine Zeile für jede Anzeige darauf, jede mit dem Rang, den sie innehatte - Preis, Bewertung und Regalposition stehen also in derselben Tabelle.
/site/searchpage.jsp?st=….position ist der Rang der Anzeige auf der Ergebnisseite, von 1 abwärts. Unsere Läufe lieferten die Positionen 1 bis 23. Diese Spalte trennt den Dienst von einem Produkt-Scraper: Sie erfassen ein Regal so, wie es an einem bestimmten Tag geordnet war, nicht eine Menge unverbundener Produktseiten. Dieselbe Suchanfrage wöchentlich ergibt so eine Bewegungsreihe statt einer Momentaufnahme.
Wenn Sie unsere anderen Handelskataloge kennen, greifen Sie nach parsed_price, currency, availability und einem status-Kennzeichen. Nichts davon gibt es hier. Dieser Dienst liefert query, name, sku, brand, model, price, rating, reviews, image, url und position - eine Suchergebnis-Form, keine Produktdetail-Form.
Best Buys SKU ist eine schlichte Zahl, und jede Zeile trägt sie zweimal - einmal in sku und einmal in url. In unserem Export tauchten zwei URL-Formen auf: 58 Zeilen als /product/…/sku/<sku> und 27 als /site/-/<sku>.p?skuId=<sku>. Verknüpfen Sie über sku statt über die Adresse, dann führen beide Formen auf dasselbe Produkt.
Auf 85 von 85 unserer Zeilen ist der Wert von brand ein führender Teilstring von name. Das funktioniert, wenn der Titel mit dem Hersteller beginnt, und liefert „HP“ oder „Dell“; es funktioniert nicht, wenn der Titel mit einer Größenangabe oder einer Werbefloskel beginnt, und entsprechend enthält unser Export Werte wie „Customer“, „Latitude“ und „15.6" 2K Touchscreen Laptop“. Behandeln Sie die Spalte als Titelanfang und normalisieren Sie, bevor Sie danach gruppieren.
Unsere sieben Läufe übermittelten alle dieselbe Such-URL und kamen mit 2, 3, 10, 14, 15, 18 und 23 Zeilen zurück. Die Positionen begannen stets bei 1, es änderte sich also nur, wie weit ein Lauf die Seite hinunterkam. Gleichen Sie über sku und position ab, behandeln Sie einen kurzen Lauf als kurzen Lauf und nicht als verschwundene Produkte, und wiederholen Sie ihn, wenn eine Reihe dünn aussieht.
Die siebzehnspaltigen Katalogdienste schreiben je Zeile ein status, damit ein blockierter Abruf sichtbar wird. Dieses Schema hat keines - ein Lauf, der nichts liefert, liefert überhaupt keine Zeilen. Der Anbieterkatalog führt diesen Dienst als Partial mit der Notiz -blocked (needs residential proxy), was zu unserem Bild passt: Zeilen kommen an, aber die Tiefe ist nicht garantiert. Zählen Sie die Zeilen je Lauf und schlagen Sie bei einem Einbruch Alarm.
In Exportreihenfolge. Die Zahlen stammen aus unseren eigenen sieben Läufen; wo hier steht, dass eine Spalte einen Wert trug, beschreibt das Zeilen, die wir tatsächlich halten.
url. Sieben SKUs tauchten in mehr als einem unserer Läufe auf - so verfolgt man ein Produkt über die Tage hinweg.name. Echte Hersteller kommen vor, und ebenso Fragmente wie „Customer“ oder eine Bildschirmgröße. Normalisieren Sie, bevor Sie danach gruppieren.reviews: 19 Zeilen tragen eine Bewertung von 0 neben einer Rezensionszahl von 0, und das ist eine Anzeige, die noch niemand bewertet hat, keine schlecht bewertete.rating, mit demselben Vorbehalt zu den Nullen. Unser Lauf reichte von 0 bis 5.929./product/…/sku/<sku> auf 58 Zeilen und /site/-/<sku>.p?skuId=<sku> auf 27. Beide enthalten die SKU, die Adresse ist also ein Link und keine Identität.query und dem Datum des Laufs aussagekräftig.Elf Spalten je Zeile · CSV, JSON oder Excel
Zwei Dinge, mit denen Sie planen sollten. Erstens ist dieses Schema nicht die siebzehnspaltige Katalogform unserer Distributorenseiten: Es gibt kein parsed_price, kein currency, kein availability, kein description und - wichtig - kein status je Zeile. Wenn Sie einen Importer für mehrere Quellen schreiben, braucht dieser hier einen eigenen Zweig. Zweitens ist die Tiefe nicht fest. Sieben Läufe derselben Such-URL lieferten 2, 3, 10, 14, 15, 18 und 23 Zeilen, stets beginnend bei Position 1. Der Anbieterkatalog führt diesen Dienst als Partial mit der Notiz -blocked (needs residential proxy). Zeilen kommen an; wie viele, werden wir aus sieben Läufen nicht versprechen, und wir nennen keine Erfolgsquote.
Lassen Sie dieselbe Suchanfrage nach Zeitplan laufen und behalten Sie query, sku, position und das Datum. Weil sieben unserer SKUs in mehr als einem Lauf auftauchten, ist die Verknüpfung geradlinig: dieselbe SKU, andere Position, anderer Tag. Diese Reihe kann Ihnen ein Screenshot nicht geben.
Der Preis kam auf 78 unserer 85 Zeilen an. Entfernen Sie das Symbol einmal beim Import, legen Sie die Zahl neben SKU und Datum ab, und ein wöchentlicher Durchlauf einer Handvoll Such-URLs wird zu einer Preisreihe über eine ganze Kategorie statt über eine Handvoll Produkte.
rating und reviews kamen gemeinsam auf 81 Zeilen an. Nach Rezensionszahl sortiert zeigt eine Ergebnisseite, welche Produkte Aufmerksamkeit gesammelt haben und welche neu sind - sofern Sie die 0/0-Zeilen ausschließen, die unbewertet und nicht schlecht bedeuten.
Eine Beschreibungsspalte gibt es nicht, also lebt die Konfiguration in name. Wer sie über eine ganze Ergebnisseite hinweg parst, erhält eine vergleichbare Spezifikationstabelle für eine Kategorie - und model ist auf den 69 Zeilen, die es trugen, das, womit sich dasselbe Gerät im Katalog eines anderen Händlers finden lässt.
Einmalig, bei der Anmeldung. Keine Karte, und nichts, was danach gekündigt werden müsste.
Abgerechnet nach tatsächlich gelieferten Zeilen - was hier fair herum ist, weil eine Such-URL zwei Zeilen oder zwei Dutzend erzeugen kann. Unser Lauf mit 23 Zeilen kostete 23 Zeilen; unser Lauf mit 2 Zeilen kostete 2.
Guthaben verfällt nicht im Monatsrhythmus. Verfolgen Sie eine Kategorie durch den Herbst und setzen Sie über den Sommer aus, wenn die Arbeit so aussieht.
LIVESCRAPER10.Der andere Dienst hier mit gerankten Ergebnissen: eine Suchanfrage rein, eine Zeile je Angebot raus. Lassen Sie beide auf dasselbe Produkt laufen, und Sie sehen das eigene Regal des Händlers neben dem offenen Markt.
Derselbe Hardwaremarkt bei einem anderen Händler. Lesen Sie die Seite, bevor Sie einen Lauf planen - ihre Geschichte ist das Gegenteil dieser hier.
Der Geschäftspreis für vergleichbare Hardware, auf dem siebzehnspaltigen Schema. Eine Kategorie-URL fächert dort so auf, wie es hier eine Such-URL tut.
Ein datiertes Bild der Ergebnisseite neben den gerankten Zeilen. Wenn die Position der Beweis ist, macht ihn das Bild belastbar.
Preise, Bewertungen und Regalreihenfolge auf einer öffentlichen Suchseite sind gewöhnliche Wettbewerbsinformationen. Die Vorbehalte, die hier zu nennen sind, betreffen das Tempo - und die Ehrlichkeit dort, wo wir etwas nicht prüfen konnten.
Ein Preis, ein Produkttitel, eine Bewertung und die Reihenfolge, in der Anzeigen erscheinen, sind Tatsachen über zum Verkauf angebotene Waren. Sie von einer Seite zu lesen, die jedem Besucher ausgeliefert wird, ist das, was ein Käufer von Hand tut - nur in nützlichem Tempo. Nichts in den elf Spalten beschreibt eine Person: kein Name, keine E-Mail-Adresse, keine Telefonnummer, kein Konto. Die datenschutzrechtlichen Fragen, die unsere personenbezogenen Dienste prägen, stellen sich hier also nicht.
Zwei Dinge sind dieser Seite eigen. Erstens das Tempo. Eine Suchseite ist eine schwerere Anfrage als eine Produktseite, und die Tiefe, die wir zurückbekamen, schwankte bei derselben Suchanfrage zwischen zwei und dreiundzwanzig Zeilen. Wir arbeiten in rücksichtsvollem Tempo, und Sie sollten entsprechend planen, statt eine URL für eine tiefere Seite zu bestürmen. Der Anbieterkatalog führt diesen Dienst als Partial und notiert, dass er einen Residential-Proxy braucht - dieselbe Geschichte vom anderen Ende. Zweitens, und das sagen wir lieber, als es zu beschönigen: wir konnten Best Buys robots.txt nicht lesen. Drei gewöhnliche Abrufe von unserer Maschine am 12. August 2026 - die Startseite, die robots-Datei und die Such-URL - liefen in eine Zeitüberschreitung oder bekamen die Verbindung zurückgesetzt, während eine unbeteiligte Seite in derselben Sitzung normal antwortete. Diese Seite nennt deshalb keine Zusammenfassung der robots.txt, weil wir die Datei nicht gesehen haben.
Unsere eigenen Bedingungen sind dieselben wie bei jedem anderen Dienst hier. Nur öffentlich zugängliche Seiten, nichts hinter einem Login, keine Tracker Dritter auf der Datenebene, und Exporte werden nach 30 Tagen automatisch gelöscht. Ihre ersten 500 Zeilen sind gratis und brauchen keine Kreditkarte.
/site/searchpage.jsp?st=…, und jeder lieferte eine Zeile je Anzeige auf dieser Seite, mit ihrem Rang in position. Auf diese Form ist der Dienst gebaut.query, name, sku, brand, model, price, rating, reviews, image, url, position. Es gibt kein parsed_price, kein currency, kein availability, kein description und kein status je Zeile.brand ein führender Teilstring von name. Ein Titel, der mit dem Hersteller beginnt, liefert also „HP“, und einer, der mit einer Bildschirmgröße beginnt, liefert eine Bildschirmgröße. Normalisieren Sie, oder lesen Sie den Hersteller selbst aus name.sku. Sie kam auf allen 85 Zeilen an, hält 70 verschiedene Werte und steht auf jeder Zeile auch in url - auch auf den 27 Zeilen, deren Adresse die Form /site/-/<sku>.p?skuId= statt /product/…/sku/ verwendet. Wenn Sie stattdessen gegen einen anderen Händler abgleichen müssen, nehmen Sie model, das auf 69 Zeilen ankam.price kommt wie angezeigt an, samt Symbol, auf 78 unserer 85 Zeilen, und dieses Schema hat weder eine eigene numerische noch eine Währungsspalte. Entfernen Sie das Symbol beim Import, wenn Sie damit rechnen wollen.Eine Such-URL, eine Zeile für jede Anzeige darauf, mit Preis, Bewertung und dem Rang, den sie hatte. Ihre ersten 500 Zeilen sind gratis, danach je 0,002 $.
Best Buy ist ein Händler für Unterhaltungselektronik, und der Dienst auf dieser Seite liest seine Suchergebnisse statt seiner Produktseiten. Diese Unterscheidung zieht sich durch alles Weitere. Sie übermitteln eine URL der Form /site/searchpage.jsp?st=…, und zurück kommt eine Zeile für jede Anzeige auf dieser Seite, die in einer position-Spalte den Rang trägt, den sie innehatte. Unsere sieben Läufe übermittelten alle dieselbe Laptop-Suchanfrage und erzeugten zusammen fünfundachtzig Zeilen, mit Positionen von eins bis dreiundzwanzig. Wenn Sie die vollständige Detailseite eines Produkts wollen, ist das die falsche Form; wenn Sie den Zustand einer Kategorie an einem bestimmten Tag wollen, ist es genau die richtige.
Das Schema hat elf Spalten und ist nicht die siebzehnspaltige Form unserer Distributorenkataloge. Es gibt keine rechenbare Preisspalte, keine Währung, keine Verfügbarkeit, keine Beschreibung und - am ehesten schmerzhaft - kein Statuskennzeichen je Zeile. In den siebzehnspaltigen Diensten erzeugt ein blockierter Abruf immer noch eine Zeile, die das sagt. Hier liefert ein Lauf, der weniger von der Seite erreicht, schlicht weniger Zeilen, und nichts in der Datei unterscheidet ein kurzes Regal von einem kurzen Lauf. Unser eigener Beleg dafür ist direkt: sieben Läufe einer identischen Suchanfrage lieferten zwei, drei, zehn, vierzehn, fünfzehn, achtzehn und dreiundzwanzig Zeilen, jeder davon beginnend bei Position eins. Der Anbieterkatalog führt diesen Dienst als Partial und hält fest, dass er einen Residential-Proxy braucht. Zählen Sie die Zeilen je Lauf, behalten Sie die Zahl, und schlagen Sie bei einem Einbruch Alarm, statt anzunehmen, die Kategorie sei geschrumpft.
Zwei Spalten lohnen genaues Lesen. sku ist Best Buys eigene Produktnummer und das Richtige zum Verknüpfen: Sie kam auf jeder Zeile an, hielt über unsere fünfundachtzig hinweg siebzig verschiedene Werte und steht in beiden von uns gesehenen Adressformen in der URL der Zeile selbst. brand ist nicht, wonach der Name klingt. Auf allen fünfundachtzig Zeilen ist es ein führender Teilstring des Anzeigentitels, was einen echten Hersteller ergibt, wenn der Titel mit einem beginnt, und eine Bildschirmgröße oder ein versprengtes Wort, wenn nicht - unser Export enthält „HP“ und „Dell“ neben „Customer“ und einem Bruchstück einer Produktbeschreibung. Normalisieren Sie vor dem Gruppieren. model, auf neunundsechzig Zeilen vorhanden, ist der dünnere, aber übertragbarere Identifikator, und er ist es, der dasselbe Gerät im Katalog eines anderen Händlers findet. Bewertungen und Rezensionszahlen kamen gemeinsam auf einundachtzig Zeilen an, und neunzehn davon tragen in beiden eine Null, was unbewertet und nicht schlecht bewertet bedeutet.
Eines werden wir nicht tun: eine Datei beschreiben, die wir nicht lesen konnten. Am 12. August 2026 liefen drei gewöhnliche Abrufe von unserer Maschine - die Startseite von Best Buy, ihre robots.txt und die Such-URL selbst - in eine Zeitüberschreitung oder bekamen die Verbindung zurückgesetzt, während ein unbeteiligter Händler in derselben Sitzung normal antwortete. Diese Seite trägt deshalb keine Zusammenfassung der robots.txt der Seite, weil wir sie nicht gesehen haben, und keine Erfolgsquote, weil sieben Läufe einer Suchanfrage keine tragen können. Was wir sehr wohl angeben, ist, was unser eigener Export enthält und wie er gemessen wurde. Nur öffentlich zugängliche Seiten, nichts hinter einem Login, keine Tracker Dritter auf der Datenebene, Exporte werden nach 30 Tagen automatisch gelöscht, und Ihre ersten 500 Zeilen sind gratis, ohne Kreditkarte.