Geben Sie eine Suchanfrage ein und erhalten Sie zurück, was Yahoo angezeigt hat - als Tabelle mit Rang, Titel, Link und Snippet, eine Zeile je Treffer. Fünf Spalten, und in den 360 Zeilen hinter dieser Seite war jede einzelne davon in jeder Zeile gefüllt.
In allen 360 Zeilen, die wir haben, waren query, position, title, url und description in jeder einzelnen Zeile gefüllt. Keine einzige leere Zelle im gesamten Export. Das ist ungewöhnlich genug, um es zu erwähnen - bei den meisten Quellen schreiben Sie ständig Null-Prüfungen.
In allen fünf Läufen lief position 1, 2, 3 … N ohne Lücken und ohne Wiederholungen. Sie können also direkt danach sortieren, und eine fehlende Nummer bedeutet, dass eine Zeile in Ihrer Pipeline verloren ging und nicht beim Scrapen.
Das ist der Punkt, der überrascht. Innerhalb eines einzigen Laufs wiederholt sich die Spalte url - 20 doppelte Zeilen in einem Export mit 74 Zeilen, und 4, 9, 11 und 16 in den anderen. Es sind echte Zeilen an echten Positionen, kein Exportfehler. Deduplizieren Sie nach url, bevor Sie irgendetwas zählen.
Wir haben python web scraping zweimal im Abstand von 24 Stunden ausgeführt. 66 verschiedene URLs am ersten Tag, 62 am zweiten, und nur 42 in beiden - rund ein Drittel wurde ausgetauscht. Von den 42 verbliebenen standen 22 an einer anderen Position. Behandeln Sie einen einzelnen Lauf als Momentaufnahme, nicht als das Ranking.
Die Beschreibungen reichten von 6 bis 417 Zeichen, im Median 194, und 79 der 360 endeten mit Auslassungspunkten - Yahoo hat sie abgeschnitten. Planen Sie eine breite Textspalte ein und werten Sie ein abschließendes „…“ nicht als Datenproblem.
Neun der 360 Titel begannen mit einer auseinandergezogenen Breadcrumb-Domain, etwa www. python .org › downloads Download Python. Es ist eine Minderheit, aber wenn Sie über Titel abgleichen, wird es Sie überraschen. Entfernen Sie das führende Domain-Fragment oder gleichen Sie stattdessen über url ab.
Aus der Kopfzeile eines echten Exports dieses Dienstes gelesen, in der Reihenfolge des Tabellenblatts. Jede Beschreibung unten stützt sich auf die 360 Zeilen, die wir gemessen haben.
www. python .org › downloads vor dem eigentlichen Titel.https und 2 waren http, verteilt auf 168 verschiedene Hosts. Diese Spalte wiederholt sich innerhalb eines Laufs - deduplizieren Sie danach.Fünf Spalten pro Zeile · CSV, JSON oder Excel
Gemessen an 5 echten Läufen und 360 Zeilen: python (74 Zeilen), snake (69), titan (74) und python web scraping zweimal (70 und 73). Die Zeilenzahl je Anfrage schwankte zwischen 69 und 74, es gibt also keine feste Seitengröße, auf die man sich verlassen könnte - lesen Sie die Zeilen, die Sie bekommen, statt eine runde Zahl anzunehmen.
Führen Sie dieselben Anfragen nach Zeitplan aus und behalten Sie query, url, position und das Laufdatum. Unsere eigenen zwei Läufe im Abstand eines Tages verschoben 22 von 42 gemeinsamen URLs - eine einzelne Messung sagt also sehr wenig, eine Reihe sagt viel.
Nach Host gruppieren und zählen. Unsere 360 Zeilen umfassten 168 verschiedene Hosts, und genau das ist die Frage - wer taucht über die Anfragen, die Sie interessieren, immer wieder auf, und in welcher Tiefe.
Lassen Sie dieselbe Anfrageliste hier und über den Google Search Scraper laufen und vergleichen Sie dann die URL-Mengen. Wo die beiden abweichen, findet ein Audit meist etwas.
Eine Anfrage aus Kategorie plus Stadt liefert Anbieterseiten im Dutzend. Geben Sie die Spalte url in den Email & Contact Scraper und aus der SERP wird eine kontaktierbare Liste.
Einmalig, bei der Anmeldung. Keine Karte, und nichts, was danach gekündigt werden müsste.
Abgerechnet nach tatsächlich gelieferten Zeilen. Bei den 69 bis 74 Zeilen, die eine Anfrage in unseren Läufen lieferte, reichen 500 Gratis-Zeilen für rund sieben Anfragen, bevor überhaupt etwas berechnet wird.
Guthaben verfällt nicht im Monatsrhythmus. Führen Sie jetzt einen Durchlauf aus und danach nichts mehr, bis Sie es brauchen.
LIVESCRAPER10.Dieselbe Aufgabe bei Google. Lassen Sie beide über eine Anfrageliste laufen und vergleichen Sie die URL-Mengen, um zu sehen, wo die Suchmaschinen abweichen.
Nachrichtentreffer statt Webtreffer, wenn Sie Berichterstattung über die Zeit brauchen.
Interesse im Zeitverlauf für die Begriffe, um die Sie ranken - die Nachfrageseite derselben Frage.
Geben Sie die Spalte url hinein und erhalten Sie Kontaktdaten heraus - so wird aus einer Ergebnisseite eine Liste, mit der Sie arbeiten können.
Eine Ergebnisseite ist eine öffentliche Seite, und die fünf Spalten hier beschreiben Webseiten, keine Personen. Die Einschränkungen betreffen Umfang und Weiterverwendung.
Eine Suchergebnisseite zu lesen, ist das, was jeder Besucher tut, und ein Rang, ein Titel, ein Link und ein Snippet sind Fakten über öffentlich erreichbare Webseiten. Nichts im Export identifiziert eine Person: kein Name, keine E-Mail-Adresse, keine Telefonnummer, kein Konto - die datenschutzrechtlichen Fragen, die unsere personenbezogenen Dienste prägen, stellen sich hier also nicht.
Zwei Dinge sind klar zu benennen. Erstens: Snippets und Titel stammen von den indexierten Seiten, nicht von uns, und sie sind deren urheberrechtlich geschützter Text. Sie intern für Rank-Tracking, Wettbewerbsanalysen und Audits zu nutzen, ist gängige Praxis; sie als eigene Inhalte zu veröffentlichen, ist eine andere Frage mit einer anderen Antwort. Zweitens: Das hier ist eine Momentaufnahme, kein Ranking - unsere eigenen zwei Läufe derselben Anfrage im Abstand eines Tages teilten nur 42 von rund 64 URLs, jede aus einem einzelnen Export gezogene Schlussfolgerung ist also schwächer, als sie aussieht. Führen Sie eine Reihe aus.
Unsere eigenen Bedingungen sind dieselben wie bei jedem anderen Dienst hier. Nur öffentlich zugängliche Seiten, nichts hinter einem Login, keine Tracker Dritter auf der Datenebene, und Exporte werden nach 30 Tagen automatisch gelöscht. Ihre ersten 500 Zeilen sind gratis und brauchen keine Kreditkarte.
query, position, title, url und description. Eine Zeile je Treffer. In den 360 Zeilen hinter dieser Seite war jede dieser fünf in jeder Zeile gefüllt - es gab keine einzige leere Zelle.url, bevor Sie Hosts zählen oder Anteile messen.python web scraping zweimal im Abstand von 24 Stunden ausgeführt: 66 verschiedene URLs am ersten Tag, 62 am zweiten, 42 in beiden. Von diesen 42 hatten 22 die Position gewechselt. Selbst die Top Ten teilten 9 von 10 URLs, aber nicht in derselben Reihenfolge. Behandeln Sie einen Lauf als Momentaufnahme und verfolgen Sie eine Reihe, wenn Sie einen Trend brauchen.url ab, wo das Problem nicht auftritt.Fünf Spalten je Treffer, in jeder Zeile gefüllt. Ihre ersten 500 Zeilen sind gratis, danach je 0,002 $.
Der Yahoo Search Scraper nimmt eine Suchanfrage und liefert die Ergebnisseite als Zeilen zurück: query, position, title, url und description, eine Zeile je Treffer. Hinter dieser Seite stehen fünf Läufe und 360 Zeilen, und jede dieser fünf Spalten war in jeder dieser Zeilen gefüllt - nirgends im Export eine leere Zelle. position kommt als Zahl zurück, die lückenlos ab 1 läuft, sortiert also direkt, und eine Lücke in Ihren Daten bedeutet, dass eine Zeile nachgelagert verloren ging und nicht beim Scrapen.
Zwei Eigenschaften der Daten sind wichtiger als das Schema. Die erste ist Duplizierung: Innerhalb eines einzigen Laufs wiederholt sich die Spalte url, 20-mal in einem Export mit 74 Zeilen und 4, 9, 11 und 16 mal in den anderen. Das sind echte Zeilen an echten Positionen, jede Zählung von Hosts, Domains oder Ergebnisanteilen muss also zuerst deduplizieren. Die zweite ist Volatilität. Wir haben die Anfrage python web scraping an zwei aufeinanderfolgenden Tagen ausgeführt: 66 verschiedene URLs am ersten Tag, 62 am zweiten, und nur 42 tauchten in beiden auf. Von diesen 42 hatten 22 die Position gewechselt, und selbst die Top Ten teilten neun von zehn URLs in anderer Reihenfolge. Ein einzelner Export ist eine Momentaufnahme eines Augenblicks, und ein Rank-Tracking-Programm auf Basis einer Messung pro Quartal meldet Rauschen als Bewegung.
Auch die Zeilenzahlen liegen nicht fest - unsere fünf Läufe lieferten 74, 70, 73, 69 und 74 Zeilen für jeweils eine Anfrage. Snippets reichten von 6 bis 417 Zeichen bei einem Median von 194, und 79 der 360 endeten mit Auslassungspunkten, wo Yahoo gekürzt hat; die Spalte description braucht also einen breiten Texttyp statt eines kurzen Varchar. Titel sind meist der Seitentitel, aber in 9 der 360 Zeilen begannen sie mit einer auseinandergezogenen Anzeige-Domain wie www. python .org › downloads; ein Abgleich über url vermeidet das vollständig. Über alle 360 Zeilen hinweg gab es 168 verschiedene Hosts, 358 https-Links und 2 http.
Die üblichen Anwendungen folgen aus dieser Form. Rank-Tracking funktioniert, wenn Sie eine Reihe statt eines einzelnen Exports fahren. Wettbewerbssichtbarkeit ist eine Gruppierung nach Host. Abdeckungsprüfung heißt, dieselbe Anfrageliste hier und über den Google Search Scraper laufen zu lassen und die URL-Mengen zu vergleichen, denn wo zwei Suchmaschinen abweichen, sitzt meist etwas Interessantes. Und eine Ergebnisseite zu einer Anfrage aus Kategorie plus Stadt ist eine Lead-Liste, sobald die Spalte url durch den Email & Contact Scraper läuft. Rechtlich sind ein Rang, ein Link und ein Snippet Fakten über öffentliche Webseiten, und keine der fünf Spalten beschreibt eine Person - die Snippets sind allerdings der urheberrechtlich geschützte Text der indexierten Seiten, was interne Analysen gewöhnlich und eine Veröffentlichung zu einer eigenen Frage macht. Nur öffentlich zugängliche Seiten, keine Tracker Dritter auf der Datenebene, und Exporte werden nach 30 Tagen automatisch gelöscht. Ihre ersten 500 Zeilen sind gratis und brauchen keine Kreditkarte.