Einführung: Google-Bewertungen scrapen mit Livescraper
Wie Sie vielleicht wissen, kann das Scraping von Google-Bewertungen eine anspruchsvolle Aufgabe sein, da Inhalte dynamisch über JavaScript geladen werden. Die offizielle Google Places API erlaubt Entwicklern nur das Abrufen von 5 Bewertungen pro Unternehmenseintrag, was häufig nicht ausreicht. Aus diesem Grund greifen Entwickler auf Scraping-Methoden zurück, mit denen sich alle Bewertungen aus Google extrahieren lassen. Auch wenn verschiedene Scraping-Tools verfügbar sind, ist eine der effizientesten und am einfachsten zu bedienenden Lösungen Livescraper – ein leistungsstarkes Tool, das das Scrapen von Google-Bewertungen sowie anderer Datentypen vereinfacht, ohne dass Sie eine komplexe Scraping-Infrastruktur einrichten und pflegen müssen. In diesem Blog zeigen wir Ihnen Schritt für Schritt, wie Sie Livescraper effektiv zum Scrapen von Google-Bewertungen einsetzen.
Livescraper und weitere notwendige Pakete installieren
Um loszulegen, müssen Sie zunächst Livescraper installieren. Außerdem benötigen Sie möglicherweise einige unterstützende Pakete wie Parsel, um das HTML zu parsen. Unten finden Sie den Befehl zur Installation von Livescraper.
pip install livescraper
pip install parsel # to extract data from HTML using XPath or CSS selectors
Browser starten
Livescraper verwendet einen Headless-Browser, um dynamische Seiten zu rendern, genau wie Selenium. Die Einrichtung und Ausführung sind jedoch einfacher. Um loszulegen, müssen Sie zunächst den Browser initialisieren.
from livescraper import Browser
# Initialize Livescraper browser
browser = Browser(driver_path='./chromedriver') # Provide the path to your ChromeDriver
browser.start() # Start the browser
Seite mit allen Bewertungen herunterladen
Sobald der Browser gestartet ist, können Sie Google-Maps-Seiten öffnen und die Bewertungen scrapen. Verwenden Sie dazu den folgenden Code, um zu einer beliebigen Google-Maps-Eintrags-URL zu navigieren.
# Define the URL of the Google Maps place
url = 'https://www.google.com/maps/place/Central+Park+Zoo/@40.7712318,-73.9674707,15z/data=!3m1!5s0x89c259a1e735d943:0xb63f84c661f84258'
# Open the page
browser.get(url)
Bewertungen parsen
Sobald die Seite geladen ist, können Sie mit dem Scrapen der Bewertungsdaten beginnen. Livescraper macht es einfach, den HTML-Inhalt zu parsen und Bewertungsinformationen zu extrahieren.
from parsel import Selector
# Get the page content
page_content = browser.page_source
selector = Selector(page_content)
# Parse the reviews
reviews = []
for review in selector.xpath('//div[@class="section-review"]'):
reviews.append({
'author': review.xpath('.//span[@class="section-review-title"]/text()').get(),
'rating': review.xpath('.//span[@aria-label="stars"]/@aria-label').get().replace('stars', '').strip(),
'review_text': review.xpath('.//span[@class="section-review-text"]/text()').get(),
})
# Print the results
for review in reviews:
print(review)
Browser stoppen
Es ist wichtig, den Browser zu beenden, sobald Ihre Scraping-Aufgabe abgeschlossen ist. Verwenden Sie den folgenden Code, um den Browser nach dem Scraping zu schließen:
# Stop the browser
browser.quit()
Multiprocessing und weitere Empfehlungen
Um Ihre Scraping-Bemühungen zu skalieren, sollten Sie Multiprocessing in Betracht ziehen. Beachten Sie jedoch, dass jede Browser-Instanz eine CPU beansprucht. Stellen Sie sicher, dass Sie über genügend Ressourcen verfügen, um mehrere Prozesse zu handhaben. Eine weitere Empfehlung ist die Nutzung von Proxys, wenn Sie in großem Umfang scrapen. So vermeiden Sie, von Google aufgrund häufiger Anfragen von derselben IP-Adresse blockiert zu werden.
Der einfachste Weg, Google-Bewertungen mit Livescraper zu scrapen
Auch wenn das Scrapen von Google-Bewertungen mittels Browser-Emulation eine große Flexibilität bietet, kann es ressourcenintensiv sein, insbesondere bei groß angelegten Scraping-Vorhaben. Zudem kann die Pflege eines Scrapers, der häufige Änderungen an der Google-Website bewältigen muss, sehr zeitaufwändig sein. Wenn Sie eine noch einfachere Lösung möchten, bietet Livescraper ein SDK und eine API, die den Zugriff auf Google-Bewertungen unglaublich einfach machen – ohne den Aufwand der Browser-Einrichtung oder Sorgen um Proxys.
Bewertungen in Python mit dem Livescraper SDK scrapen
Das SDK von Livescraper bietet eine unkomplizierte Möglichkeit, Bewertungen direkt von Google Maps abzurufen, ohne dynamische Inhalte manuell verarbeiten zu müssen. So nutzen Sie das SDK, um Bewertungen zu scrapen. Installieren Sie das SDK:
pip install livescraper-sdk
API-Key abrufen: Besuchen Sie die Livescraper-Plattform und rufen Sie Ihren API-Key auf Ihrer Profilseite ab. Verwenden Sie das SDK, um Bewertungen zu scrapen:
from livescraper_sdk import ApiClient
# Initialize the API client with your API key
api_client = ApiClient(api_key='YOUR_API_KEY')
# Define the Google Maps URL or place ID
place_url = 'https://www.google.com/maps/place/Do+or+Dive+Bar/@40.6867831,-73.9570104,17z/'
# Fetch reviews using the API
reviews = api_client.get_reviews(
place_url=place_url,
language='en',
limit=100 # Set a limit on the number of reviews
)
# Print reviews
for review in reviews['reviews_data']:
print(f"Author: {review['author_name']}")
print(f"Rating: {review['review_rating']}")
print(f"Review: {review['review_text']}")
print(f"Link: {review['review_link']}")
print("-" * 80)
API-Antwort:
{
"reviews_data": [
"query": "real estate agents in Los Angeles, CA",
"business_name": "Prevu",
"google_id": "0x89c25a18440df38d:0x41db57ca0d7213a0",
"place_id": "ChIJjfMNRBhawokRoBNyDcpX20E",
"place_cid": 4745483157685540000,
"google_place_url": "https://www.google.com/maps?cid=4745483157685539744",
"review_url": "https://search.google.com/local/reviews?placeid=ChIJjfMNRBhawokRoBNyDcpX20E&q=real+estate+agents+in+Los+Angeles,+CA&authuser=0&hl=en&gl=US",
"reviews_per_score": "{1: 2, 2: 1, 3: 2, 4: 1, 5: 623}",
"total_reviews": 629,
"average_rating": 5,
"review_id": "ChdDSUhNMG9nS0VJQ0FnSUN2anFIUW1BRRAB",
"author_link": "https://www.google.com/maps/contrib/100735152414342745869/reviews?hl=en",
"author_title": "Donna Marie",
"author_id": "100735152414342745869",
"author_image": "https://lh3.googleusercontent.com/a/ACg8ocJEQZazUKq5OxvV3RO-EL04yW3EQuSqdQwkEdnjy7jz0VL15A=s120-c-rp-mo-br100",
"review_text": "Very glad I chose Prevu as my real estate agency when looking to purchase a co-op in NYC. Sarah, my agent was incredible helping me find the right place and assisting me with the process of the purchase. And on top of this great service I also got a nice rebate check back. Highly recommend",
"review_img_url": null,
"review_img_urls": null,
"owner_answer": null,
"owner_answer_timestamp": null,
"owner_answer_timestamp_datetime_utc": null,
"review_link": "https://www.google.com/maps/reviews/data=!4m8!14m7!1m6!2m5!1sChdDSUhNMG9nS0VJQ0FnSUN2anFIUW1BRRAB!2m1!1s0x0:0x41db57ca0d7213a0!3m1!1s2@1:CIHM0ogKEICAgICvjqHQmAE%7CCgwI5rzjugYQsJX5lgE%7C? hl=en",
"review_rating": 5,
"review_timestamp": 1733877350316558,
"review_datetime_utc": "11-12-2024 06:05:50",
"review_likes": null,
"reviews_id": 4745483157685540000
},
...
]
}
Video-Tutorial
Schauen Sie sich unser Video-Tutorial an, um eine detaillierte Schritt-für-Schritt-Anleitung zur Einrichtung und Nutzung von Livescraper für das Scraping von Google-Bewertungen zu erhalten. https://www.youtube.com/watch?v=8PwEtCCKZlU
FAQ
Wie scrape ich alle Google-Bewertungen? Mit Livescraper können Sie alle Google-Bewertungen ganz einfach scrapen – entweder über das SDK oder durch Steuerung eines Browserfensters. Für umfangreicheres Scraping bietet das SDK eine unkomplizierte Methode, auf die Daten zuzugreifen, ohne komplizierte Browser-Setups. Gibt es eine API für Google-Bewertungen? Ja, Livescraper bietet eine API, mit der Sie Google-Bewertungen direkt abrufen können, ohne sich um das Rendering im Browser oder den Umgang mit JavaScript kümmern zu müssen. Sie können auf diese API mit einem API-Key zugreifen. Wie scrape ich Bewertungen mit Livescraper? Mit Livescraper können Sie Bewertungen entweder durch Steuerung eines Headless-Browsers oder mithilfe des Livescraper SDK direkt scrapen. Das SDK ist die einfachste Option, wenn Sie sich nicht selbst um Browser und Proxys kümmern möchten.