Comece uma consulta no Google Maps e ele propõe dez complementações - uma mistura de lugares, marcas e formas de dizer que as pessoas pesquisam. Este serviço transforma esse menu suspenso em uma tabela: uma linha por sugestão, com a posição que ela ocupava, para quantas consultas iniciais você enviar.
Esta é a propriedade que decide como usar a exportação, então vem primeiro e não em uma nota de rodapé.
Executamos a mesma palavra inicial repetidamente. Ela devolveu um top dez diferente quase todas as vezes - uma consulta retornou seis listas diferentes em seis execuções, e apenas quatro das suas dez sugestões eram comuns às duas primeiras. Outra compartilhou só duas de dez. Uma terceira foi mais estável, compartilhando sete. Ou seja, o autocomplete do Maps não é uma lista fixa que se consulta; é uma superfície viva que muda de uma requisição para a seguinte.
O que decorre disso é simples e merece ser dito com clareza. Uma execução é uma anedota. Se uma sugestão importa para você, amostre-a repetidamente e conte com que frequência ela aparece, em vez de ler uma única extração como a resposta. Por outro lado, uma sugestão que aparece em todas as amostras está lhe dizendo algo genuinamente estável. A volatilidade não é ruído a ser eliminado por engenharia - tratada corretamente, a frequência entre execuções é a medição de verdade.
O formato do arquivo, por outro lado, é completamente previsível. Cada consulta inicial retorna exatamente dez sugestões, então linhas é consultas vezes dez, e position vai de 1 a 10 antes de recomeçar na consulta seguinte - é a posição dentro de um menu suspenso, não um número de linha. Agrupe por query antes de ordenar por qualquer coisa.
Não há mapa para arrastar nem URL para montar. Você envia palavras, opcionalmente com um viés de localização.
1000 consultas por requisição.coordinates a partir de uma URL do Maps para direcionar a uma localidade.Retornam dez linhas por consulta inicial, então cem consultas são mil linhas. A cobrança acompanha as linhas.
A exportação inteira. Três colunas descrevem a sugestão; a quarta registra o que você pediu.
query.@lat,lng,zoom de uma URL do Google Maps. É uma entrada, idêntica em todas as linhas de uma execução, e não uma posição do lugar sugerido. Vazia quando nenhuma foi fornecida.Não leia coordinates como uma saída. É o parâmetro que você enviou, repetido - nas nossas 100 linhas ele continha apenas dois valores distintos, um deles vazio, e nunca variou dentro de uma execução. Em particular, não é a localização do lugar sugerido: aqui uma sugestão é uma complementação de texto, não uma ficha, e este serviço não retorna id de lugar, endereço ou avaliação. Quando você tiver escolhido as expressões que valem a pena, é o scraper do Maps que as transforma em lugares reais.
Oito execuções, seis delas com dados, dez blocos de consulta, três consultas iniciais distintas. Pouco, mas o comportamento foi consistente o bastante para projetar em torno dele - e uma constatação deveria mudar como você o usa.
Uma consulta inicial foi executada seis vezes e produziu seis listas diferentes; apenas quatro das suas dez sugestões foram compartilhadas entre as duas primeiras execuções. Outra compartilhou duas de dez. Esta é a propriedade principal do autocomplete do Maps, e ela é medida, não inferida. Projete para isso: amostre uma consulta várias vezes e ordene as sugestões pela frequência com que aparecem, em vez de confiar em uma única extração.
Os dez blocos de consulta dos nossos dados retornaram exatamente dez sugestões - nenhum bloco curto, nenhum longo. Então, embora o conteúdo se mova, o tamanho não: linhas é consultas vezes dez, conhecido antes de gastar qualquer coisa. O contraste é a parte útil. Você consegue orçar uma execução com precisão e, ainda assim, precisa repeti-la para confiar no conteúdo.
A coluna coordinates repete o viés de localização que você enviou - o fragmento @lat,lng,zoom de uma URL do Maps. Nas nossas 100 linhas ela continha dois valores: vazio e um valor não vazio que é exatamente o padrão que a referência publicada documenta para esse parâmetro. Nossas execuções demonstram que a coluna existe e devolve a entrada; elas não demonstram o que uma coordenada escolhida deliberadamente faz com os resultados. Se a localização importa para o seu trabalho, defina-a você mesmo e compare.
Este serviço retorna complementações de texto - não há id de lugar, endereço, avaliação ou par de coordenadas para aquilo que está sendo sugerido. Isso é um limite de escopo, não uma lacuna: o autocomplete é onde você aprende como as pessoas formulam uma busca, e o scraper do Maps é onde uma expressão vira uma lista de negócios. Duas das nossas oito execuções voltaram vazias, então inclua uma nova tentativa em qualquer trabalho agendado, em vez de supor que toda requisição sempre retorna algo.
Onde o menu suspenso do Maps é mais útil como planilha do que como menu suspenso.
Ninguém pesquisa do jeito que uma taxonomia de categorias diz que deveria. Alimente o serviço com a sua categoria e leia o que o Maps propõe - as abreviações, os erros de grafia, os quase sinônimos que carregam intenção real. Amostre cada consulta algumas vezes e fique com as complementações que se repetem; essas são as expressões pelas quais vale a pena otimizar uma ficha.
Entrar em um setor ou país desconhecido significa adivinhar palavras. Esta é uma forma barata de parar de adivinhar: envie as consultas iniciais óbvias, colete o que voltar e você terá o vocabulário ao redor em minutos. Combine com os parâmetros language e region e você poderá fazer o mesmo exercício por mercado.
O próximo passo natural é parar de ler sugestões e começar a usá-las. Pegue as complementações que sobrevivem à amostragem repetida, entregue-as ao scraper do Maps como termos de busca, e você obterá negócios encontrados pela linguagem que os clientes realmente usam, e não pela que você supôs.
Sem assinatura, sem mínimo, sem licença por usuário. Suas primeiras 500 linhas são por nossa conta - depois disso é pago conforme o uso.
Em cada nova conta, uma única vez. Sem cartão de crédito. Todos os scrapers liberados. A dez linhas por consulta, são cinquenta consultas iniciais - ou, melhor, dez consultas amostradas cinco vezes cada, que é como você deveria usar este serviço de qualquer forma.
Cerca de 2 $ por 1.000 sugestões - aproximadamente 0,02 $ por consulta inicial, já que cada uma retorna dez linhas. Como a lista muda entre execuções, orce as repetições: amostrar uma consulta cinco vezes custa dez centavos e vale muito mais do que cinco consultas diferentes extraídas uma única vez.
Preços por volume, SLAs, workers dedicados e onboarding sob medida para times que amostram grandes listas de consultas em vários idiomas, regiões e coordenadas em uma programação recorrente. Informe seus números e faremos uma proposta.
LIVESCRAPER10 no checkout.O autocomplete diz como as pessoas buscam. Estes dois transformam isso em lugares e em posições.
O próximo passo óbvio: entregue as complementações que sobreviveram como termos de busca e receba de volta os negócios reais, com endereços, telefones e sites.
A mesma ideia na busca da web, onde o menu suspenso é bem mais estável entre execuções e sempre abre com a sua própria consulta.
Resposta curta: sim. Uma sugestão é um recurso público de uma caixa de busca pública, exibida a todos que começam a digitar.
O autocomplete do Maps é público. Qualquer pessoa pode vê-lo sem conta, em qualquer dispositivo, apenas digitando. Coletar informações publicamente visíveis para pesquisa é uma prática consolidada há muito tempo e, desde que os dados sejam públicos e o processo não prejudique o serviço, não há leis federais que o proíbam.
O assunto é tão inofensivo quanto um dado pode ser. Uma sugestão é um agregado - uma expressão comum o suficiente entre as buscas de muitas pessoas para que o Google a ofereça a todos. Não é o histórico de busca de uma pessoa, e nada nessas quatro colunas identifica ninguém: não há usuário, sessão nem autor. A única coluna que não trata da sugestão é a coordenada que você mesmo forneceu.
Os termos do Google restringem o acesso automatizado, então isso continua sendo uma questão de termos de uso. Não tocamos em nada atrás de um login, não executamos rastreadores de terceiros na camada de dados e suas exportações se excluem sozinhas após 30 dias.
As perguntas que mais ouvimos. Mais alguma coisa? Fale conosco - quem escreve as respostas são pessoas, não bots.
query, suggestion, position e coordinates. Uma linha por sugestão. Esse cabeçalho foi idêntico nas oito execuções que fizemos, incluindo as duas que voltaram vazias.position é a posição dentro do menu suspenso de uma consulta, então vai de 1 a 10 e recomeça na consulta seguinte. Um arquivo com cinquenta consultas iniciais contém o número 1 cinquenta vezes. Agrupe sempre por query primeiro.@lat,lng,zoom de uma URL do Google Maps. É uma entrada, não uma saída: não informa a posição do lugar sugerido e é idêntica em todas as linhas de uma execução. Nas nossas 100 linhas ela continha apenas dois valores distintos, um deles vazio.query como um array e agrupa até 1000 consultas por requisição, e documenta os parâmetros language (padrão en) e region junto de coordinates. Registre o que você configurar, porque nenhuma coluna de saída além de coordinates devolve isso.Entregue uma lista de palavras iniciais e receba o menu suspenso do Maps em linhas - a sugestão e a posição que ela ocupava, dez por consulta. Suas primeiras 500 linhas são grátis.
Digite as primeiras letras de qualquer coisa no Google Maps e ele propõe dez complementações. Elas vêm do que as pessoas realmente buscam no Maps, o que as torna uma leitura direta de como os clientes pedem uma categoria - as abreviações, os quase sinônimos, as expressões locais que nenhuma taxonomia interna contém. Este serviço transforma esse menu suspenso em uma tabela: uma linha por sugestão, quatro colunas, exportadas como CSV, JSON ou Excel, para quantas consultas iniciais você quiser enviar. A referência publicada aceita o parâmetro query como um array e agrupa até mil consultas em uma única requisição.
A exportação tem duas propriedades que puxam em direções opostas, e entender as duas é todo o trabalho. Seu tamanho é perfeitamente previsível: cada consulta inicial retorna exatamente dez sugestões - isso se confirmou em todos os blocos que medimos, sem blocos curtos nem longos - então linhas é consultas vezes dez, conhecido antes de qualquer gasto. Seu conteúdo não é nada previsível. Executamos uma consulta seis vezes e recebemos seis listas diferentes, com apenas quatro das suas dez sugestões comuns às duas primeiras execuções; outra consulta compartilhou só duas de dez entre execuções. O autocomplete do Maps é uma superfície viva, não uma tabela de consulta, e uma extração é uma anedota, não uma resposta.
Essa instabilidade é gerenciável assim que você para de lutar contra ela. Amostre cada consulta inicial várias vezes e ordene as complementações pela frequência com que se repetem: uma expressão que aparece em todas as amostras é linguagem de demanda genuinamente estável, e uma que aparece uma vez só não merece ação. A frequência entre execuções é aqui a medição de verdade, o que também significa que o modelo de custo difere do da maioria dos scrapers: amostrar dez consultas cinco vezes cada aproveita melhor o mesmo gasto do que extrair cinquenta consultas uma vez. Duas das nossas execuções voltaram vazias, então um trabalho agendado deve tentar de novo em vez de supor que toda requisição retorna algo.
Dois detalhes menores que convém acertar. A coluna position é uma posição dentro do menu suspenso de uma consulta, e não um número de linha: vai de 1 a 10 e recomeça na consulta seguinte, então um arquivo de cinquenta consultas contém o número 1 cinquenta vezes, e o agrupamento por query precisa vir antes de qualquer ordenação. E a coluna coordinates é uma entrada devolvida - o fragmento @lat,lng,zoom de uma URL do Maps, idêntico em todas as linhas de uma execução - e não a localização do lugar sugerido. Nas nossas cem linhas ela carregava apenas dois valores distintos, um vazio e o outro exatamente o padrão que a referência documenta, então nossos dados mostram que a coluna existe e repete o que você enviou, e não mostram nada sobre como uma coordenada escolhida deliberadamente altera os resultados. Note também que uma sugestão é uma expressão e não uma ficha: não há aqui id de lugar, endereço ou avaliação. Colete as expressões e depois entregue-as ao scraper do Maps. Comece grátis: suas primeiras 500 linhas não custam nada e não exigem cartão de crédito.