Die meisten Katalog-Scraper geben Ihnen eine Zeile je Produkt. Dieser geht eine Ebene tiefer: Übermitteln Sie eine Kollektionsseite, und Sie bekommen eine Zeile für jede Größe und Farbe - jede mit eigener SKU, eigenem Preis und eigenem Bestandsstatus.
Unser Lauf übermittelte eine einzige Kollektionsseite für Herrenhandschuhe und bekam 66 Zeilen zurück, alle mit ok, verteilt auf zehn verschiedene Produkte - je zwischen 4 und 12 Zeilen. Das vom Anbieter veröffentlichte Testbeispiel für diesen Dienst ist genau dieselbe Kollektions-URL; das Auffächern ist also der vorgesehene Arbeitsablauf und kein Nebeneffekt unserer Fragestellung.
Das ist der Teil, der Ihr Datenmodell verändert. Jede Zeile ist eine Größe und Farbe - mit eigener sku, eigener availability und einem name, der das Suffix trägt, etwa … Steel Blue / XS. Zwölf unserer Zeilen teilten sich eine product_url. Gruppieren Sie nach product_url, wenn Sie Produkte wollen; behalten Sie die Zeilen, wenn Sie die Größenkurve wollen.
Über unsere 66 Zeilen hinweg kamen 39 als InStock und 27 als OutOfStock zurück - bei Produkten, die nominell verfügbar sind. Ein Scraper auf Produktebene würde alle zehn dieser Produkte als lieferbar melden. Hier sehen Sie, dass eine bestimmte Farbe in L fehlt und in M nicht, und das ist der Unterschied zwischen einem Bestandsbericht und einem, mit dem sich arbeiten lässt.
Beide Spalten sind auf allen 69 unserer Zeilen leer. Wir haben nachgesehen, warum: Ein Abruf einer dieser Produktseiten liefert einen strukturierten Datenblock, der das Produkt und jede Variante beschreibt - und der überhaupt keine Bewertung und keine Rezensionszahl enthält. Die Spalten sind leer, weil die Seite die Werte nicht veröffentlicht, nicht weil der Lauf gescheitert wäre. Planen Sie also keinen Rezensions-Arbeitsablauf um diesen Dienst herum.
Unsere 66 Zeilen trugen vier Markenwerte - Forclaz auf 40, Wedze auf 14, Quechua auf 6 und Kiprun auf 6. Das sind Decathlons Eigenmarken; die Markenspalte gruppiert also einen Katalog, statt einen Hersteller zu benennen, den Sie anderswo nachschlagen könnten. Wenn Ihr Arbeitsablauf der Abgleich über Händler hinweg ist, ist das die falsche Quelle; für die Sortimentsanalyse von Eigenmarken ist es eine gute.
Ein zweiter Lauf auf dieselbe URL lieferte eine einzelne Zeile, die die Seite beschreibt - Name „Men's Gloves“, das Decathlon-Logo als Bild, keine sku und keine product_url. Sie ist zugleich die einzige Zeile, deren price ein Währungssymbol trägt. Filtern Sie vor dem Aggregieren darauf, dass sku vorhanden ist, dann fällt diese Zeile sauber heraus.
Aus einem echten Export gelesen, in Blattreihenfolge. Die Zahlen unten stammen aus unserem Kollektionslauf mit 66 Zeilen; wo hier steht, dass eine Spalte einen Wert trug, beschreibt das Zeilen, die wir tatsächlich halten.
sku, anders als auf unseren Distributorenseiten, wo die beiden Spalten unterschiedliche Nummerierungen tragen.$49.99 trug. Lesen Sie currency, statt aus der Zeichenkette zu schließen.USD auf jeder Produktzeile unseres Laufs. Lesen Sie sie, statt sie anzunehmen: Decathlon betreibt nationale Shops, und die Spalte existiert genau deshalb, weil die Antwort nicht immer dieselbe ist.InStock oder OutOfStock, je Variante. Unser Lauf teilte sich 39 zu 27. Diese Spalte macht es lohnend, den Dienst nach Zeitplan statt einmalig laufen zu lassen.rating.sku_code. Behalten Sie beide, wenn Sie einen Importer für mehrere unserer Katalogdienste schreiben, wo sie oft abweichen; hier genügt einer.product_url - die Zeile zeigt auf ihre eigene Produktseite, nicht auf die Kollektion, aus der sie stammt.images.ok auf 67 Zeilen und http 404 auf 2, letztere von einer Platzhalteradresse, die es nicht gibt. Gleichen Sie über diese Spalte ab und nicht über die Zeilenzahl, die ein Varianten-Auffächern für sich genommen bedeutungslos macht.Siebzehn Spalten je Zeile · CSV, JSON oder Excel
Worauf Sie Ihren Importer auslegen sollten: Eine Zeile ist eine Variante. Eine Kollektions-URL erzeugte in unserem Lauf 66 Zeilen über zehn Produkte - je 4 bis 12 Zeilen - mit Größe und Farbe im Suffix von name und dem Bestand je Zeile entschieden. Genau deshalb lohnt availability: 39 dieser 66 waren verfügbar und 27 nicht, bei Produkten, die ein Scraper auf Produktebene als lieferbar gemeldet hätte. Zwei Spalten sind aus einem Grund leer, den wir geprüft und nicht geraten haben. Ein Abruf einer der Produktseiten liefert einen strukturierten Datenblock, der das Produkt beschreibt und jede Variante mit eigenem Preis, eigener Währung und eigenem Bestand auflistet - und der nirgends eine Bewertung oder eine Rezensionszahl trägt. rating und reviews sind leer, weil die Quelle sie nicht veröffentlicht.
Der Bestand kommt je Variante, ein wöchentlicher Lauf sagt Ihnen also, dass eine Farbe in M und L weg ist, während XS im Regal liegt. Das ist die Form der Nachfrage innerhalb eines Produkts, und für jeden Scraper, der einen Verfügbarkeitswert je Produktseite meldet, ist sie unsichtbar.
Vier Marken deckten unseren ganzen Lauf ab - Forclaz, Wedze, Quechua und Kiprun. Gruppieren Sie nach brand und product_url, und ein paar Kollektions-URLs geben Ihnen die Form einer Eigenmarkenreihe: wie viele Produkte, wie viele Varianten je Produkt, zu welchen Preisen.
parsed_price ist eine nackte Zahl, und currency sagt Ihnen, worin sie ausgedrückt ist; ein geplanter Kollektionslauf erzeugt also eine saubere Preisreihe ganz ohne Zeichenkettenreinigung. Unser Lauf enthielt sieben verschiedene Preise über zehn Produkte.
images trug bis zu 25 URLs je Zeile, und image ist nachweislich die erste davon; Sie können also einen Feed mit Aufmacherbild und Galerie bauen, ohne für den Normalfall Zeichenketten zu zerlegen. Die Beschreibung wiederholt sich über die Varianten eines Produkts, und genau das will man in einem Feed.
Einmalig, bei der Anmeldung. Keine Karte, und nichts, was danach gekündigt werden müsste.
Abgerechnet nach tatsächlich gelieferten Zeilen - hier planenswert, weil Varianten sich vervielfachen. Eine Kollektions-URL erzeugte in unserem Lauf 66 Zeilen, und 66 Zeilen würde sie kosten.
Guthaben verfällt nicht im Monatsrhythmus. Erfassen Sie die Wintersaison im Oktober und danach nichts mehr bis zum Frühjahr, wenn die Arbeit so aussieht.
LIVESCRAPER10.Ein weiterer Bekleidungskatalog auf demselben Schema, wo Größe und Farbe genauso zählen wie hier.
Ein europäischer Verbraucherhändler auf denselben siebzehn Spalten - lesen Sie seine Seite, bevor Sie ihn laufen lassen, die Geschichte dort ist eine andere.
Kaufhaussortiment auf denselben Spalten. Nützlich, wenn Sie eine Eigenmarkenreihe gegen ein Mehrmarkensortiment stellen.
Ein datiertes Bild der Anzeige neben den Zeilen. Praktisch, wenn Ihre Behauptung lautet, dass eine Größe an einem bestimmten Tag ausverkauft war.
Preise, Größen und Bestand auf einer öffentlichen Produktseite sind gewöhnliche Geschäftstatsachen. Die Vorbehalte, die hier zu nennen sind, betreffen das Volumen und das, wofür die Daten taugen und wofür nicht.
Ein Preis, ein Produktname, eine Größe und ob sie vorrätig ist, sind Tatsachen über zum Verkauf angebotene Waren. Sie von einer Seite zu lesen, die jedem Besucher ausgeliefert wird, ist dieselbe Tätigkeit, die ein Käufer von Hand ausführt - nur in nützlichem Tempo. Nichts in den siebzehn Spalten beschreibt eine Person: kein Name, keine E-Mail-Adresse, keine Telefonnummer, kein Konto. Die datenschutzrechtlichen Fragen, die unsere personenbezogenen Dienste prägen, stellen sich hier also nicht.
Was dieser Seite eigen ist, ist das Volumen. Eine Kollektions-URL, die bis auf jede Variante auffächert, leistet mehr Arbeit je Anfrage als ein Produktabruf, und sie erzeugt weit mehr Zeilen: Eine Kollektionsseite gab uns 66. Wir arbeiten in rücksichtsvollem Tempo und machen jeden Fehlschlag in der Statusspalte sichtbar, statt ihn totzuwiederholen, und Sie sollten mit der Vervielfachung im Kopf planen, statt eine Kollektions-URL als Gratisabkürzung zu behandeln. Der Vollständigkeit halber: Keiner unserer Läufe gegen diese Seite wurde blockiert - die beiden Zeilen ohne ok in unserem Export sind 404er von einer Platzhalteradresse, die es nicht gibt, und der Anbieterkatalog verzeichnet für diesen Dienst keinen Blocker.
Unsere eigenen Bedingungen sind dieselben wie bei jedem anderen Dienst hier. Nur öffentlich zugängliche Seiten, nichts hinter einem Login, keine Tracker Dritter auf der Datenebene, und Exporte werden nach 30 Tagen automatisch gelöscht. Ihre ersten 500 Zeilen sind gratis und brauchen keine Kreditkarte.
ok, alle mit derselben query. Das vom Anbieter veröffentlichte Testbeispiel für diesen Dienst ist genau dieselbe Kollektions-URL.sku, eigener availability und einem name, der auf etwas wie - Steel Blue / XS endet. In unserem Lauf erzeugte ein Produkt zwölf Zeilen. Gruppieren Sie nach product_url, wenn Sie eine Zeile je Produkt wollen.InStock und 27 als OutOfStock zurück - bei zehn Produkten, die ein Scraper auf Produktebene als verfügbar bezeichnet hätte. Das ist der Unterschied zwischen dem Wissen, dass es ein Produkt gibt, und dem Wissen, dass Sie es in L kaufen können.parsed_price ist eine nackte Zahl, und auf den Produktzeilen hält price denselben Betrag ohne Symbol; currency war auf jeder Produktzeile unseres Laufs USD. Die einzige Zeile mit Symbol war die Kollektionsseite selbst, kein Produkt.sku und keine product_url. Filtern Sie vor dem Aggregieren darauf, dass sku vorhanden ist, dann fällt sie heraus.Eine Kollektions-URL, eine Zeile je Größe und Farbe, mit Preis, Bestand und Bildern auf jeder. Ihre ersten 500 Zeilen sind gratis, danach je 0,002 $.
Decathlon ist ein Sportartikelhändler, der überwiegend eigene Marken verkauft, und der Dienst auf dieser Seite liest seine Kollektions- und Produktseiten in dieselbe siebzehnspaltige Tabelle, die auch unsere anderen Katalog-Scraper erzeugen. Was ihn von jenen unterscheidet, ist die Tiefe des Auffächerns. Unser Lauf übermittelte eine einzige Kollektions-URL für Herrenhandschuhe und erhielt sechsundsechzig Zeilen, jede davon erfolgreich, verteilt auf zehn verschiedene Produktseiten mit je vier bis zwölf Zeilen. Das vom Anbieter veröffentlichte Testbeispiel für diesen Dienst ist genau dieselbe Kollektions-URL; das ist also der vorgesehene Arbeitsablauf und kein Zufall unserer Fragestellung.
Die Zeilen sind Varianten, keine Produkte. Jede ist eine bestimmte Größe in einer bestimmten Farbe, mit eigener Artikelnummer in sku, eigenem Bestandsstatus in availability und einem name, der mit der Variante endet - etwa Steel Blue / XS. Genau darum lässt man diesen Dienst statt eines Scrapers auf Produktebene laufen: Von unseren sechsundsechzig Zeilen waren neununddreißig verfügbar und siebenundzwanzig nicht, bei zehn Produkten, die eine Prüfung auf Seitenebene als lieferbar gemeldet hätte. Zu wissen, dass eine Farbe in M und L weg ist, während XS unangetastet liegt, ist eine andere Tatsache als zu wissen, dass es das Produkt gibt, und es ist die, die eine Nachbestell-Warnung oder einen Größenkurvenbericht trägt. Gruppieren Sie nach product_url, wenn Sie Produkte zurückwollen; behalten Sie die Zeilen, wenn Sie das Detail wollen.
Zwei Spalten kommen auf jeder Zeile leer an, und wir haben geprüft, warum, statt zu raten. Ein Abruf einer der Produktseiten liefert ein großes Dokument mit einem strukturierten Datenblock, der das Produkt beschreibt und alle seine Varianten mit Preis, Währung und Bestandsstatus auflistet - und der nirgends eine Durchschnittsbewertung oder eine Rezensionszahl enthält. rating und reviews sind also leer, weil die Quelle sie nicht veröffentlicht, und kein noch so häufiges Wiederholen ändert daran etwas. Derselbe Abruf bestätigte den Rest des Exports: Die Zahl der auf der Seite gelisteten Varianten stimmte exakt mit der Zahl der Zeilen überein, die unser Lauf für dieses Produkt erzeugte, die Artikelnummer erschien in beiden, und die Marke stimmte überein. Preise kommen als nackte Zahlen in parsed_price an, mit currency daneben - lesen Sie die Währung, statt sie anzunehmen, denn Decathlon betreibt nationale Shops.
Die Markenspalte verdient einen Vorbehalt. Unser Lauf lieferte vier Werte - Forclaz, Wedze, Quechua und Kiprun -, allesamt Decathlons Eigenmarken. Das macht die Quelle hervorragend für die Kartierung eines Eigenmarkensortiments und schlecht für den Abgleich eines Produkts mit einem anderen Händler, weil es keinen dritten Hersteller gibt, über den man abgleichen könnte. Darüber hinaus planen Sie mit dem Volumen: Varianten vervielfachen sich, eine Kollektions-URL kostete uns sechsundsechzig Zeilen statt einer, und abgerechnet wird nach gelieferten Zeilen. Keiner unserer Läufe gegen diese Seite wurde blockiert - die einzigen Zeilen ohne ok in unserem Export sind 404er von einer Platzhalteradresse -, und der Anbieterkatalog verzeichnet für den Dienst keinen Blocker. Nur öffentlich zugängliche Seiten, keine Tracker Dritter auf der Datenebene, Exporte werden nach 30 Tagen automatisch gelöscht, und Ihre ersten 500 Zeilen sind gratis, ohne Kreditkarte.