Lowes-Produktseiten in Zeilen scrapen
Der Lowes Produkt-Scraper macht aus Produkt- und Kategorieseiten auf lowes.com Zeilen. Fügen Sie eine Produkt-URL ein - das eigene Beispiel der Plattform ist lowes.com/pd/625493716 - oder eine Kategorie- beziehungsweise Such-URL, eine pro Zeile, oder laden Sie eine CSV-, XLSX- oder TXT-Datei hoch, setzen Sie ein Limit pro Anfrage, und jedes Produkt kommt als Datensatz zurück, mit der Anfrage, aus der es stammt, dem Dienst, der es erzeugt hat, dem Namen, Preis und Währung, Verfügbarkeit, Marke, sku, mpn und gtin, einer Bewertung und Bewertungszahl, einem Bild, einem Link und einer Beschreibung. Fünfzehn Spalten in der Datei und sechzehn im JSON, eine Zeile pro Produkt.
Ein Stück Einrichtung trennt diese Seite von den meisten ihrer Geschwister. Lowes ist einer von genau vier Händlern auf dieser gemeinsamen Pipeline, die das Werkzeug als solche nennt, die einen eigenen Residential-Proxy brauchen - die anderen sind Grainger, Zalando und Fastenal. Als Grund wird angegeben, dass solche Händler Rechenzentrums-Adressen blockieren oder ihre Produkte clientseitig rendern, und das Werkzeug sagt nicht, welches auf Lowes zutrifft, also rät diese Seite nicht. So oder so ist die praktische Folge dieselbe: Richten Sie den Proxy vor dem ersten Durchlauf ein, denn bei diesem Händler bedeutet eine leere Datei eher den Proxy als das Markup.
Zwei Dinge sollte man verstehen, bevor man auf diesem Export aufbaut. Produkte werden aus dem JSON-LD gelesen, das eine Seite über sich selbst veröffentlicht - die strukturierten Daten, die Händler einbetten, damit Suchmaschinen einen Preis und einen Lagerstatus anzeigen können. Daher tragen die Spalten die Namen, die sie tragen, und daraus folgt eine Obergrenze: Jede Spalte nach service existiert nur, wenn der Händler dieses Feld deklariert hat, ein leeres Feld heißt also nicht veröffentlicht statt Durchlauf gescheitert. Und diese Seite druckt keine Beispielwerte, weil wir sie nie gegen Lowes haben laufen lassen. Von den fünfundvierzig Exporten, die wir aus der gemeinsamen Pipeline hinter diesem Dienst vorliegen haben, ist kein einziger ein Lowes-Durchlauf - vierundvierzig lieferten eine Kopfzeile und keine Zeilen, und der eine befüllte ist ein anderer Händler. Dieser Export ist genau eine ehrliche Beobachtung wert, und sie betrifft das Werkzeug und nicht Lowes: query und service waren auf jeder Zeile befüllt, weil der Scraper sie selbst schreibt, und sechs der fünfzehn Spalten waren auf jeder Zeile leer.
Rechtlich gehört dies zu den leichteren Exporten in unserem Katalog. Alles Erhobene wird jedem Besucher auf einer öffentlichen Produktseite gezeigt, weder Login noch Bezahlschranke sind im Spiel, und in den fünfzehn Spalten wird nirgends eine Person genannt - reviews ist eine Zahl und kein Bewertungstext. Es geht um Produkte und Preise. Die eigenen Bedingungen von Lowes regeln die automatisierte Erhebung von ihrer Website weiterhin, und weil der Durchlauf über einen von Ihnen eingerichteten Proxy statt über unseren gemeinsamen Pool hinausgeht, betrifft Sie diese Frage unmittelbarer als sonst - lesen Sie sie, bevor Sie hochskalieren, und denken Sie daran, dass Produktbeschreibungen und Bilder fremde Texte und fremde Fotografien sind, falls Sie sie weiterveröffentlichen wollen. Fangen Sie kostenlos an: Ihre ersten 500 Zeilen kosten nichts und brauchen keine Kreditkarte, danach sind es 0,002 $ je Zeile, pauschal.