Introduction : extraire les avis Google avec Livescraper
Comme vous le savez peut-être, l'extraction des avis Google peut être une tâche difficile en raison du contenu dynamique chargé via JavaScript. L'API officielle Google Places permet seulement aux développeurs de récupérer 5 avis par fiche d'entreprise, ce qui est souvent insuffisant. C'est pour cela que les développeurs se tournent vers des méthodes de scraping qui leur permettent d'extraire tous les avis depuis Google. Bien qu'il existe divers outils de scraping disponibles, l'une des solutions les plus efficaces et les plus simples à utiliser est Livescraper, un outil puissant qui simplifie l'extraction des avis Google, entre autres types de données, sans nécessiter la mise en place et la maintenance d'une infrastructure de scraping complexe. Dans cet article, nous vous expliquerons étape par étape comment utiliser Livescraper pour extraire efficacement les avis Google.
Installer Livescraper et les autres paquets nécessaires
Pour commencer, vous devrez installer Livescraper. De plus, vous pourriez avoir besoin de certains paquets de soutien comme Parsel pour analyser le HTML. Voici la commande pour installer Livescraper.
pip install livescraper
pip install parsel # to extract data from HTML using XPath or CSS selectors
Démarrer le navigateur
Livescraper utilise un navigateur headless pour rendre les pages dynamiques, tout comme le fait Selenium. Cependant, la configuration et l'exécution sont plus simples. Pour commencer, vous devrez d'abord initialiser le navigateur.
from livescraper import Browser
# Initialize Livescraper browser
browser = Browser(driver_path='./chromedriver') # Provide the path to your ChromeDriver
browser.start() # Start the browser
Télécharger la page de tous les avis
Une fois le navigateur démarré, vous êtes prêt à ouvrir des pages Google Maps et à extraire les avis. Pour ce faire, utilisez le code suivant pour naviguer vers n'importe quelle URL de fiche Google Maps.
# Define the URL of the Google Maps place
url = 'https://www.google.com/maps/place/Central+Park+Zoo/@40.7712318,-73.9674707,15z/data=!3m1!5s0x89c259a1e735d943:0xb63f84c661f84258'
# Open the page
browser.get(url)
Analyser les avis
Une fois la page chargée, vous pouvez commencer à extraire les données d'avis. Livescraper facilite l'analyse du contenu HTML et l'extraction des informations d'avis.
from parsel import Selector
# Get the page content
page_content = browser.page_source
selector = Selector(page_content)
# Parse the reviews
reviews = []
for review in selector.xpath('//div[@class="section-review"]'):
reviews.append({
'author': review.xpath('.//span[@class="section-review-title"]/text()').get(),
'rating': review.xpath('.//span[@aria-label="stars"]/@aria-label').get().replace('stars', '').strip(),
'review_text': review.xpath('.//span[@class="section-review-text"]/text()').get(),
})
# Print the results
for review in reviews:
print(review)
Arrêter le navigateur
Il est essentiel d'arrêter le navigateur une fois votre tâche d'extraction terminée. Utilisez le code suivant pour fermer le navigateur après l'extraction :
# Stop the browser
browser.quit()
Multitraitement et autres recommandations
Pour faire passer vos efforts d'extraction à l'échelle, envisagez d'utiliser le multitraitement. Cependant, il est important de noter que chaque instance de navigateur consommera un CPU. Assurez-vous d'avoir suffisamment de ressources pour gérer plusieurs processus. Une autre recommandation consiste à utiliser des proxys si vous extrayez à grande échelle. Cela vous aide à éviter d'être bloqué par Google en raison de requêtes fréquentes depuis la même adresse IP.
La façon la plus simple d'extraire les avis Google avec Livescraper
Bien que l'extraction des avis Google via l'émulation de navigateur offre une grande flexibilité, elle peut être coûteuse en ressources, en particulier pour les opérations d'extraction à grande échelle. De plus, maintenir un scraper capable de gérer les changements fréquents du site Google peut prendre du temps. Si vous voulez une solution encore plus simple, Livescraper propose un SDK et une API qui rendent incroyablement facile l'accès aux avis Google sans le tracas de la configuration du navigateur ou du souci des proxys.
Extraire des avis en Python avec le SDK Livescraper
Le SDK de Livescraper fournit une méthode simple pour récupérer les avis directement depuis Google Maps sans avoir à gérer manuellement le contenu dynamique. Voici comment vous pouvez utiliser le SDK pour extraire les avis. Installer le SDK :
pip install livescraper-sdk
Obtenez votre clé API : Rendez-vous sur la plateforme Livescraper et récupérez votre clé API depuis la page de votre profil. Utilisez le SDK pour extraire les avis :
from livescraper_sdk import ApiClient
# Initialize the API client with your API key
api_client = ApiClient(api_key='YOUR_API_KEY')
# Define the Google Maps URL or place ID
place_url = 'https://www.google.com/maps/place/Do+or+Dive+Bar/@40.6867831,-73.9570104,17z/'
# Fetch reviews using the API
reviews = api_client.get_reviews(
place_url=place_url,
language='en',
limit=100 # Set a limit on the number of reviews
)
# Print reviews
for review in reviews['reviews_data']:
print(f"Author: {review['author_name']}")
print(f"Rating: {review['review_rating']}")
print(f"Review: {review['review_text']}")
print(f"Link: {review['review_link']}")
print("-" * 80)
Réponse de l'API :
{
"reviews_data": [
"query": "real estate agents in Los Angeles, CA",
"business_name": "Prevu",
"google_id": "0x89c25a18440df38d:0x41db57ca0d7213a0",
"place_id": "ChIJjfMNRBhawokRoBNyDcpX20E",
"place_cid": 4745483157685540000,
"google_place_url": "https://www.google.com/maps?cid=4745483157685539744",
"review_url": "https://search.google.com/local/reviews?placeid=ChIJjfMNRBhawokRoBNyDcpX20E&q=real+estate+agents+in+Los+Angeles,+CA&authuser=0&hl=en&gl=US",
"reviews_per_score": "{1: 2, 2: 1, 3: 2, 4: 1, 5: 623}",
"total_reviews": 629,
"average_rating": 5,
"review_id": "ChdDSUhNMG9nS0VJQ0FnSUN2anFIUW1BRRAB",
"author_link": "https://www.google.com/maps/contrib/100735152414342745869/reviews?hl=en",
"author_title": "Donna Marie",
"author_id": "100735152414342745869",
"author_image": "https://lh3.googleusercontent.com/a/ACg8ocJEQZazUKq5OxvV3RO-EL04yW3EQuSqdQwkEdnjy7jz0VL15A=s120-c-rp-mo-br100",
"review_text": "Very glad I chose Prevu as my real estate agency when looking to purchase a co-op in NYC. Sarah, my agent was incredible helping me find the right place and assisting me with the process of the purchase. And on top of this great service I also got a nice rebate check back. Highly recommend",
"review_img_url": null,
"review_img_urls": null,
"owner_answer": null,
"owner_answer_timestamp": null,
"owner_answer_timestamp_datetime_utc": null,
"review_link": "https://www.google.com/maps/reviews/data=!4m8!14m7!1m6!2m5!1sChdDSUhNMG9nS0VJQ0FnSUN2anFIUW1BRRAB!2m1!1s0x0:0x41db57ca0d7213a0!3m1!1s2@1:CIHM0ogKEICAgICvjqHQmAE%7CCgwI5rzjugYQsJX5lgE%7C? hl=en",
"review_rating": 5,
"review_timestamp": 1733877350316558,
"review_datetime_utc": "11-12-2024 06:05:50",
"review_likes": null,
"reviews_id": 4745483157685540000
},
...
]
}
Tutoriel vidéo
Consultez notre tutoriel vidéo pour obtenir un guide détaillé, étape par étape, sur la façon de configurer et d'utiliser Livescraper pour extraire les avis Google. https://www.youtube.com/watch?v=8PwEtCCKZlU
FAQ
Comment extraire tous les avis Google ? Avec Livescraper, vous pouvez facilement extraire tous les avis Google en utilisant le SDK ou en contrôlant une fenêtre de navigateur. Pour une extraction à plus grande échelle, le SDK fournit une méthode simple pour accéder aux données sans configurations complexes de navigateur. Existe-t-il une API pour les avis Google ? Oui, Livescraper fournit une API qui vous permet de récupérer les avis Google directement sans vous soucier du rendu du navigateur ou de la gestion de JavaScript. Vous pouvez accéder à cette API avec une clé API. Comment extraire les avis avec Livescraper ? Avec Livescraper, vous pouvez soit extraire les avis en contrôlant un navigateur headless, soit utiliser le SDK Livescraper pour accéder directement aux données. Le SDK est l'option la plus simple si vous voulez éviter de gérer les navigateurs et les proxys vous-même.