DoorDash Scraper - ein Lieferverzeichnis in strukturierte Zeilen verwandeln
DoorDash ist einer der größten Marktplätze für Essenslieferungen in den Vereinigten Staaten, und für sehr viele Restaurants ist er inzwischen das Schaufenster, auf das es ankommt. Seine Verzeichnisseite beantwortet eine bestimmte Frage - welche Restaurants an diese Adresse liefern - und beantwortet sie mit einer Wand aus Karten, von denen jede einen Namen, eine Sternebewertung, eine Anzahl von Bewertungen, ein geschätztes Lieferfenster, eine Liefergebühr und eine Entfernung trägt. Für einen hungrigen Menschen, der ein Abendessen wählt, ist das genau richtig. Für jede Frage über den Markt statt über eine Mahlzeit ist es falsch: wie viele Wettbewerber diese Postleitzahl erreichen, wie sie zueinander bewertet sind, was in dieser Straße üblicherweise für die Lieferung verlangt wird, welche Restaurants diesen Monat dazugekommen sind und welche still verschwunden sind. Der DoorDash Scraper beantwortet das, indem er das Verzeichnis in eine Tabelle verwandelt: eine Zeile pro Restaurant, neun Spalten, exportiert als CSV, JSON oder Excel.
Das Wichtigste an diesen Daten ist, dass ein DoorDash-Verzeichnis für eine Lieferadresse erzeugt wird. Das ist kein Detail, das ist der ganze Rahmen. Die Entfernung wird von dieser Adresse aus gemessen. Das Lieferfenster wird für diese Fahrt genannt. Die Gebühr variiert nach Restaurant und danach, wie weit es von dem Ort entfernt ist, an den Sie liefern lassen wollten. Selbst die Zusammensetzung der Liste hängt von der Adresse ab: Ein paar Kilometer weiter fallen Restaurants heraus, während andere auftauchen. Der Export hat damit eine implizite Spalte, die nicht in der Datei steht, und die Disziplin, die diese Daten vertrauenswürdig macht, besteht darin, sie zurückzuholen - eine Adresse pro Datei, oder die Adresse neben dem Durchlauf gespeichert. Führen Sie zwei Adressen ohne diese Markierung zusammen, und Sie haben eine Tabelle, in der dieselbe Spalte in verschiedenen Zeilen Verschiedenes bedeutet, ohne dass irgendetwas in den Daten warnt.
Mit zwei weiteren Eigenschaften sollten Sie rechnen. Die Store-Bewertung ist eine Lifetime-Bewertung auf einer Skala von 1 bis 5, und DoorDash sagt klar, dass die genaue Berechnung nicht offengelegt wird und neuere Rückmeldungen stärker gewichtet werden; sie ist nicht das arithmetische Mittel der daneben gezählten Bewertungen und wird mit ihnen nicht zusammenpassen. Nutzen Sie die Anzahl als Konfidenzgewicht und Stichprobengröße statt als Nenner eines Durchschnitts, den Sie nachbauen können. Und die Liefergebühr ist der Betrag, der einer Besucherin ohne Abo genannt wird: DashPass-Mitglieder zahlen bei berechtigten Bestellungen, die einen Mindestbestellwert erreichen, keine Liefergebühr, und diese Mindestwerte variieren selbst nach Store, Stadt und Tageszeit. Beide Zahlen sind echt und nützlich. Beide beschreiben eine bestimmte Person an einem bestimmten Ort in einem bestimmten Moment, und zu sagen, welche gemeint ist, macht den Unterschied zwischen einer Analyse, die trägt, und einer, die es still nicht tut.
Eine ehrliche Anmerkung zur Beweislage hinter dieser Seite. Jede Aussage oben ist entweder das deklarierte Schema des Exports - die neun Spaltennamen, in unseren beiden lokalen Durchläufen identisch - oder eine dokumentierte Eigenschaft von DoorDash selbst, aus dem Hilfebereich und dem Händlermaterial von DoorDash. Es gibt hier keine Scrape-Ergebnisse, weil wir keine haben: Beide Durchläufe wurden gegen eine Platzhalter-URL statt gegen ein echtes DoorDash-Verzeichnis ausgeführt und gaben nichts zurück, und der Service ist intern als „braucht einen Residential-Proxy“ geführt. Diese Seite nennt daher keine Restaurantzahlen, keine Bewertungen, keine Gebühren und keine Lieferzeiten, und es kommen keine hinzu, solange kein echter Export sie belegt. Was die Seite beschreibt - wofür jede Spalte da ist und was DoorDash an dieser Stelle einträgt - ist zutreffend. Starten Sie gratis: Ihre ersten 500 Zeilen kosten nichts und brauchen keine Kreditkarte.