Menards-Produktdaten scrapen
Menards ist ein Baumarkt, und diese Seite erscheint in einem Zustand, in dem die meisten Anbieterseiten nicht erscheinen: als negatives Ergebnis. Unser Exportordner für diesen Dienst hält sieben Läufe und sieben Zeilen, und nicht eine dieser Zeilen trägt einen Produktnamen, einen Preis, eine Artikelnummer oder ein Bild. Vier davon melden blocked (needs residential proxy). Drei melden http 404, und zwei dieser drei waren Anfragen an eine Platzhalteradresse, die es nicht gibt, sie sagen also über Menards gar nichts. Reduziert auf die Versuche, die zählen, lautet der Befund: fünf Anfragen gegen echte Menards-URLs, von denen vier blockiert wurden und eine einen 404 lieferte. Das ist der gesamte Datensatz, und einen reicheren zu erfinden wäre leicht und unehrlich.
Wir haben unabhängig nachgeprüft, statt dem Export zu glauben. Am 12. August 2026 haben wir eine Menards-Produktseite und die robots.txt der Seite von einer normalen Maschine mit Browser-User-Agent abgerufen. Beide lieferten HTTP 403, und keine der Antworten war Menards-Markup - jede war eine kurze Schutzseite der Edge-Schicht mit einem X-Iinfo-Header, einem Skript, das auf einen Incapsula-Ressourcenendpunkt zeigt, und Incapsula-Sitzungs-Cookies auf der Menards-Domain. Das ist eine Bot-Schutzschicht, die anstelle der Seite antwortet. Es bedeutet auch, dass wir die robots-Datei nicht lesen konnten, weshalb diese Seite nichts daraus zitiert: den Inhalt eines Dokuments zu beschreiben, das wir nie gesehen haben, wäre schlimmer, als einzuräumen, dass wir es nicht gesehen haben. Eine Unstimmigkeit ist festzuhalten statt zu glätten. Unser interner Dienstkatalog vermerkt die Seite als durch PerimeterX/HUMAN geschützt, während wir Imperva Incapsula beobachtet haben. Das sind verschiedene Produkte verschiedener Anbieter. Wir nennen beide Beobachtungen mit ihren Quellen und lassen die Unstimmigkeit sichtbar; die praktische Schlussfolgerung bleibt unverändert.
Was wir anbieten können, ist das Schema. Die siebzehn Spalten - query, sku_code, product_url, name, description, parsed_price, price, currency, availability, rating, reviews, images, brand, sku, url, image, status - sind aus der Kopfzeile eines echten Menards-Exports gelesen, und dieser Teil der Datei ist wohlgeformt, auch wenn der Lauf nichts liefert. Sie sind zudem Byte für Byte dasselbe Schema wie hinter unseren Diensten für Uline, CDW, Waxie, Otto, Newegg und Decathlon; ein Importer, der gegen einen davon geschrieben ist, nimmt eine Menards-Datei unverändert an, falls und sobald Zeilen ankommen. Das Datenverzeichnis auf dieser Seite beschreibt deshalb, wofür jede Spalte da ist, und hält Spalte für Spalte fest, dass wir sie nicht gefüllt beobachtet haben. Es nennt keine Füllzahlen, weil es nichts zu zählen gibt.
Eine redaktionelle Entscheidung verdient es, ausgesprochen zu werden, denn die Versuchung geht in die andere Richtung. Mehrere Dienste auf dieser Seite teilen genau dieses Schema und liefern volle Preisdaten - einer davon verwandelte eine einzige Kategorie-URL in neunundneunzig bepreiste Zeilen. Es wäre trivial gewesen, diese Seite mit ihren Werten zu illustrieren und die Leserin schließen zu lassen. Wir haben keine einzige Zahl von ihnen verwendet. Ein Verpackungsdistributor und ein Technologie-Reseller sind andere Kataloge als ein Baumarkt, und eine von dort geliehene Zahl ist kein Beleg über einen anderen; sie ist Erfindung mit angehängter Quelle. Die Seite sagt also, was unsere Läufe sagten, und wo die Antwort „wir haben es nicht“ lautet, sagt sie das. Abgerechnet wird nach gelieferten Zeilen, ein blockierter Versuch ist also keine Gebühr, und wenn die Kategorie wichtiger ist als der Händler, deckt der Rest des Katalogs dasselbe Feld mit echten Zeilen dahinter ab.