Introdução: Fazendo Scraping de Avaliações do Google Usando o Livescraper
Como você deve saber, fazer scraping de avaliações do Google pode ser uma tarefa desafiadora devido ao conteúdo dinâmico que é carregado via JavaScript. A Places API oficial do Google só permite que desenvolvedores busquem 5 avaliações por ficha de empresa, o que muitas vezes é insuficiente. É por isso que os desenvolvedores recorrem a métodos de scraping que permitem extrair todas as avaliações do Google. Embora existam várias ferramentas de scraping disponíveis, uma das soluções mais eficientes e fáceis de usar é o Livescraper, uma ferramenta poderosa que simplifica o scraping de avaliações do Google, entre outros tipos de dados, sem exigir a configuração e manutenção de uma infraestrutura de scraping complexa. Neste blog, vamos te guiar sobre como usar o Livescraper para fazer scraping de avaliações do Google de forma eficaz.
Instale o Livescraper e Outros Pacotes Necessários
Para começar, você precisará instalar o Livescraper. Além disso, talvez precise de alguns pacotes de apoio como o Parsel para fazer o parsing do HTML. Abaixo está o comando para instalar o Livescraper.
pip install livescraper
pip install parsel # to extract data from HTML using XPath or CSS selectors
Inicie o Navegador
O Livescraper usa um navegador headless para renderizar páginas dinâmicas, assim como o Selenium faz. No entanto, a configuração e execução são mais simples. Para começar, você primeiro precisará inicializar o navegador.
from livescraper import Browser
# Initialize Livescraper browser
browser = Browser(driver_path='./chromedriver') # Provide the path to your ChromeDriver
browser.start() # Start the browser
Baixe a Página com Todas as Avaliações
Uma vez iniciado o navegador, você está pronto para abrir páginas do Google Maps e fazer scraping das avaliações. Para isso, use o seguinte código para navegar até qualquer URL de ficha do Google Maps.
# Define the URL of the Google Maps place
url = 'https://www.google.com/maps/place/Central+Park+Zoo/@40.7712318,-73.9674707,15z/data=!3m1!5s0x89c259a1e735d943:0xb63f84c661f84258'
# Open the page
browser.get(url)
Faça o Parsing das Avaliações
Uma vez carregada a página, você pode começar a fazer scraping dos dados das avaliações. O Livescraper facilita o parsing do conteúdo HTML e a extração das informações das avaliações.
from parsel import Selector
# Get the page content
page_content = browser.page_source
selector = Selector(page_content)
# Parse the reviews
reviews = []
for review in selector.xpath('//div[@class="section-review"]'):
reviews.append({
'author': review.xpath('.//span[@class="section-review-title"]/text()').get(),
'rating': review.xpath('.//span[@aria-label="stars"]/@aria-label').get().replace('stars', '').strip(),
'review_text': review.xpath('.//span[@class="section-review-text"]/text()').get(),
})
# Print the results
for review in reviews:
print(review)
Pare o Navegador
É essencial parar o navegador uma vez que sua tarefa de scraping esteja concluída. Use o seguinte código para fechar o navegador após o scraping:
# Stop the browser
browser.quit()
Multiprocessamento e Outras Recomendações
Para escalar seus esforços de scraping, considere usar multiprocessamento. No entanto, é importante observar que cada instância do navegador consumirá uma CPU. Garanta que você tenha recursos suficientes para lidar com múltiplos processos. Outra recomendação é usar proxies se você estiver fazendo scraping em larga escala. Isso ajuda a evitar ser bloqueado pelo Google devido a requisições frequentes do mesmo endereço de IP.
A Forma Mais Fácil de Fazer Scraping de Avaliações do Google com o Livescraper
Embora fazer scraping de avaliações do Google usando emulação de navegador ofereça grande flexibilidade, isso pode ser caro em termos de recursos, especialmente para operações de scraping em larga escala. Além disso, manter um scraper que consiga lidar com mudanças frequentes no site do Google pode consumir muito tempo. Se você quer uma solução ainda mais fácil, o Livescraper oferece um SDK e uma API que tornam incrivelmente simples acessar avaliações do Google sem a complicação de configuração de navegador ou preocupação com proxies.
Faça Scraping de Avaliações em Python Usando o SDK do Livescraper
O SDK do Livescraper oferece um método direto para buscar avaliações diretamente do Google Maps sem a necessidade de lidar com conteúdo dinâmico manualmente. Veja como usar o SDK para fazer scraping de avaliações. Instale o SDK:
pip install livescraper-sdk
Obtenha Sua API Key: Visite a plataforma Livescraper e recupere sua API key na página do seu perfil. Use o SDK para Fazer Scraping de Avaliações:
from livescraper_sdk import ApiClient
# Initialize the API client with your API key
api_client = ApiClient(api_key='YOUR_API_KEY')
# Define the Google Maps URL or place ID
place_url = 'https://www.google.com/maps/place/Do+or+Dive+Bar/@40.6867831,-73.9570104,17z/'
# Fetch reviews using the API
reviews = api_client.get_reviews(
place_url=place_url,
language='en',
limit=100 # Set a limit on the number of reviews
)
# Print reviews
for review in reviews['reviews_data']:
print(f"Author: {review['author_name']}")
print(f"Rating: {review['review_rating']}")
print(f"Review: {review['review_text']}")
print(f"Link: {review['review_link']}")
print("-" * 80)
Resposta da API:
{
"reviews_data": [
"query": "real estate agents in Los Angeles, CA",
"business_name": "Prevu",
"google_id": "0x89c25a18440df38d:0x41db57ca0d7213a0",
"place_id": "ChIJjfMNRBhawokRoBNyDcpX20E",
"place_cid": 4745483157685540000,
"google_place_url": "https://www.google.com/maps?cid=4745483157685539744",
"review_url": "https://search.google.com/local/reviews?placeid=ChIJjfMNRBhawokRoBNyDcpX20E&q=real+estate+agents+in+Los+Angeles,+CA&authuser=0&hl=en&gl=US",
"reviews_per_score": "{1: 2, 2: 1, 3: 2, 4: 1, 5: 623}",
"total_reviews": 629,
"average_rating": 5,
"review_id": "ChdDSUhNMG9nS0VJQ0FnSUN2anFIUW1BRRAB",
"author_link": "https://www.google.com/maps/contrib/100735152414342745869/reviews?hl=en",
"author_title": "Donna Marie",
"author_id": "100735152414342745869",
"author_image": "https://lh3.googleusercontent.com/a/ACg8ocJEQZazUKq5OxvV3RO-EL04yW3EQuSqdQwkEdnjy7jz0VL15A=s120-c-rp-mo-br100",
"review_text": "Very glad I chose Prevu as my real estate agency when looking to purchase a co-op in NYC. Sarah, my agent was incredible helping me find the right place and assisting me with the process of the purchase. And on top of this great service I also got a nice rebate check back. Highly recommend",
"review_img_url": null,
"review_img_urls": null,
"owner_answer": null,
"owner_answer_timestamp": null,
"owner_answer_timestamp_datetime_utc": null,
"review_link": "https://www.google.com/maps/reviews/data=!4m8!14m7!1m6!2m5!1sChdDSUhNMG9nS0VJQ0FnSUN2anFIUW1BRRAB!2m1!1s0x0:0x41db57ca0d7213a0!3m1!1s2@1:CIHM0ogKEICAgICvjqHQmAE%7CCgwI5rzjugYQsJX5lgE%7C? hl=en",
"review_rating": 5,
"review_timestamp": 1733877350316558,
"review_datetime_utc": "11-12-2024 06:05:50",
"review_likes": null,
"reviews_id": 4745483157685540000
},
...
]
}
Tutorial em Vídeo
Confira nosso tutorial em vídeo para obter um guia detalhado, passo a passo, sobre como configurar e usar o Livescraper para fazer scraping de avaliações do Google. https://www.youtube.com/watch?v=8PwEtCCKZlU
FAQ
Como faço para fazer scraping de todas as avaliações do Google? Com o Livescraper, você pode facilmente fazer scraping de todas as avaliações do Google usando o SDK ou controlando uma janela de navegador. Para scraping em larga escala, o SDK oferece um método direto para acessar os dados sem configurações complexas de navegador. Existe uma API para avaliações do Google? Sim, o Livescraper fornece uma API que permite buscar avaliações do Google diretamente sem se preocupar com renderização de navegador ou lidar com JavaScript. Você pode acessar essa API com uma API key. Como fazer scraping de avaliações usando o Livescraper? Usando o Livescraper, você pode tanto fazer scraping de avaliações controlando um navegador headless quanto usando o SDK do Livescraper para acessar os dados diretamente. O SDK é a opção mais fácil se você quer evitar lidar com navegadores e proxies por conta própria.