Livescraper
EntrarComeçar
Scraper do Baidu Maps

O mapa da China,
como uma tabela de locais.

Indique as categorias ou marcas que procura e as cidades onde olhar, e receba os locais como linhas: o nome, a morada, o telefone, a etiqueta de categoria, uma latitude e uma longitude, e o identificador do próprio Baidu para o local. Nove colunas, uma linha por local. Uma coisa a saber antes de começar: o Baidu Maps é alojado na China e bloqueia IPs de centros de dados fora da China, por isso este scraper precisa de um proxy residencial - idealmente com saída na China - para devolver o que quer que seja.

Começar grátis Ver preços
500 linhas grátis, uma única vezdepois 0,002 $ por linha9 colunasCSV · XLSX · JSON
Como funciona

Entram categorias e cidades,
saem locais.

Duas caixas em vez de uma: o que procura e onde. A plataforma combina-as, por isso cada categoria é procurada em cada localidade.

  1. PASSO 1Inicie sessão na plataforma.
  2. PASSO 2Abra o Baidu Maps Scraper.
  3. PASSO 3Introduza as categorias ou marcas que quer, uma por linha.
  4. PASSO 4Introduza as localidades, uma por linha - ou carregue um ficheiro CSV, XLSX, TXT ou Parquet.
  5. PASSO 5Defina um limite por consulta, ou coloque-o a 0 para levar tudo.
  6. PASSO 6Clique em Get Data.

As duas listas são combinadas num produto cartesiano, por isso dez categorias contra vinte cidades são duzentas pesquisas e não trinta. Leia a nota por baixo do dicionário antes de colar uma lista longa em qualquer das caixas.

Porque as equipas o usam

O mapa por trás
da Grande Muralha digital.

A fonte que cobre mesmo a China

Os produtos cartográficos ocidentais são pobres em registos da China continental. É no Baidu que esses locais estão, o que faz dele o único ponto de partida prático para um conjunto de dados de locais dentro da China.

Categorias vezes cidades, num só trabalho

Dá-lhe duas listas e ele percorre a grelha. Uma varredura de categorias por vinte cidades é um trabalho com um ficheiro de saída, em vez de vinte trabalhos que depois tem de coser.

Um identificador estável por local

Cada linha traz o identificador do próprio Baidu para o local. É isso que torna uma segunda execução comparável com a primeira, em vez de uma nova pilha de nomes para emparelhar de forma aproximada.

O que recebe

Nove colunas -
e uma resposta franca sobre elas.

O conjunto de colunas abaixo é sólido. O que as células contêm não é coisa que esta página vá adivinhar, e a razão merece dois parágrafos do seu tempo.

Os nove nomes e a sua ordem vêm da linha de cabeçalho de cinco exportações de execução distintas, feitas com quinze dias de intervalo, que coincidem exatamente. É a prova mais forte que temos para este scraper - e é uma fonte em vez de duas, o que merece ser dito com clareza: ao contrário da maioria das páginas daqui, não há uma lista de colunas publicada para confrontar.

O que não temos é uma exportação preenchida. O Baidu Maps é alojado na China e bloqueia IPs de centros de dados fora da China, e todas as execuções aqui arquivadas foram feitas sem um proxy com saída na China, por isso cada uma voltou como uma linha de cabeçalho sem nada por baixo. É o comportamento documentado, não uma falha. Significa que esta página lhe pode dizer para que serve cada coluna, e não lhe pode dizer que forma têm os seus valores - por isso não encontrará abaixo nem um tipo, nem uma unidade, nem um formato, nem um exemplo. Aponte uma execução com o seu próprio proxy a uma única categoria numa única cidade e leia o primeiro ficheiro que obtiver.

Experimentar 500 linhas grátis
Dicionário de dados

Nove colunas,
por ordem de exportação.

A linha de cabeçalho da exportação, por ordem. As descrições dizem para que serve cada campo; deliberadamente não afirmam nada sobre o seu formato, unidades ou vocabulário - veja a nota acima.

category
A categoria ou marca que submeteu, repetida em cada linha que dela resultou. Metade do par que produziu a pesquisa.
location
A localidade que submeteu, repetida em cada linha que dela resultou. A outra metade do par - em conjunto com category diz-lhe a qual das suas pesquisas pertence uma linha.
name
O nome do local.
address
A morada tal como o registo a dá. Chega como um único campo; não há colunas separadas de cidade, distrito ou código postal por onde agrupar.
phone
O telefone que consta do registo.
tag
A classificação do próprio Baidu para o local. É a etiqueta da plataforma, não a category que pediu, por isso as duas podem divergir na mesma linha.
latitude
A coordenada norte-sul. Apure em que sistema de coordenadas estes valores estão antes de os representar ou cruzar - veja a nota abaixo.
longitude
A coordenada este-oeste. Aplica-se a mesma cautela.
uid
O identificador do Baidu para o local. É a coluna por onde indexar quando repetir uma pesquisa e quiser saber o que mudou, e o único campo aqui que se mantém estável quando um negócio muda de nome.

Leia isto antes de planear em torno da tabela acima. Todas as exportações de execução que temos para este scraper voltaram vazias - cada uma uma folha de cálculo com esta linha de cabeçalho e nenhuma linha de dados por baixo. A causa não é uma falha: o Baidu Maps é alojado na China e bloqueia IPs de centros de dados fora da China, e uma execução sem proxy residencial - idealmente com saída na China - conclui e não devolve absolutamente nada em vez de dar erro. Por isso os nove nomes são sólidos; mais nada aqui é. Não publicamos taxas de preenchimento, valores de exemplo nem formato para qualquer coluna. Isso inclui as coordenadas, e são elas que vão morder. Os serviços cartográficos não publicam todos as posições no mesmo referencial geodésico, e largar dois números sobre um mapa base GPS é uma operação de uma linha que produz um mapa confiantemente errado quando o referencial difere. Esta página não lhe vai dizer em que sistema estão, porque não vimos uma célula preenchida - confronte um punhado de moradas que conheça com o seu próprio mapa base na sua primeira execução real, antes de algo a jusante depender da resposta.

Controlos de execução

Definido na tarefa,
não na folha de cálculo.

Duas listas de entrada e um limite. As listas são combinadas num produto cartesiano, por isso o limite é por pesquisa e não por execução - é esse o número que decide quanto custa um trabalho.

Categorias ou marcas Localidades Combinadas como produto cartesiano Limite por consulta 0 para tudo Carregamento CSV Carregamento XLSX Carregamento TXT Carregamento Parquet Proxy com saída na China
Fluxos de trabalho comuns

Três tarefas que correm
aqui mais do que quaisquer outras.

Alguns exemplos de como as equipas usam dados de locais da China para responder a uma pergunta que têm mesmo.

Expansão

Contar a concorrência cidade a cidade

Uma categoria contra uma lista de cidades dá-lhe uma contagem comparável por mercado num único ficheiro. Como as duas metades do par estão em cada linha, o agrupamento já lá está - não há que deduzir de que pesquisa veio cada local.

Expansão · Estratégia
Presença

Mapear a rede de lojas de uma marca no continente

A caixa de entrada aceita marcas tão bem como categorias, por isso as lojas de uma cadeia num conjunto de cidades voltam como uma tabela com um identificador estável por local - que é o que torna a execução seguinte uma comparação e não um recomeço.

Retalho
Cobertura

Tapar a lacuna da China num conjunto global de locais

Os conjuntos de dados de locais construídos a partir de fontes ocidentais afinam bastante dentro da China. Correr aqui a mesma lista de categorias e acrescentar é a forma prática de fechar essa lacuna - assim que tiver resolvido a questão das coordenadas acima.

Engenharia de dados
Começar
Preços

Pague só pelos locais
que realmente extrai.

Sem subscrição, sem mínimo, sem fatura recorrente. As suas primeiras 500 linhas são por nossa conta - depois paga conforme usa, à mesma tarifa fixa de qualquer outro scraper daqui.

Nível gratuito

500 linhas grátis - 0 $

Em cada conta nova, uma única vez. Sem cartão de crédito. Limites por consulta, carregamento de ficheiros e todos os formatos de exportação incluídos.

0 $ para sempre
Conforme usa

0,002 $ por linha após o nível gratuito

Cerca de 2 $ por cada 1.000 locais. O estimador prévio mostra o número de linhas e o custo em créditos antes de uma execução arrancar - aqui vale uma segunda vista de olhos, porque duas listas de entrada multiplicam-se em mais pesquisas do que se espera.

O mais escolhido
Volume

À medida · grande volume

Preços por volume, workers dedicados e um SLA para monitorização contínua ou extrações históricas muito grandes. Diga-nos os seus números e preparamos uma proposta.

Fale connosco
Começar grátis Ver todos os preços
10 % de desconto na sua primeira execução paga.Use o código LIVESCRAPER10 no pagamento.
Registar
Combina bem com

Um mapa,
e os do lado.

Google Maps Scraper

O mesmo trabalho onde o Google cobre bem, com um conjunto de colunas muito mais largo - classificações, avaliações, horários, site e contactos. A outra metade natural de um conjunto global de locais a que falta a China.

Explorar

Extrator do Bing Maps

Uma terceira fonte de locais para a mesma pesquisa. Correr dois fornecedores sobre uma lista de categorias é como descobre se um resultado magro é uma lacuna real do mercado ou apenas uma lacuna de um índice.

Explorar
A parte legal

É legal fazer scraping
do Baidu Maps?

Resposta curta: os registos são informação pública de negócios - mas este é um serviço chinês com dados chineses, e isso muda por que regras deve perguntar.

Um registo do Baidu Maps é mostrado a qualquer pessoa que faça a pesquisa: o nome, a morada, o telefone e a categoria são precisamente aquilo por que o local é publicado para ser encontrado. Recolher registos de negócios publicamente visíveis para estudo de mercado é uma prática estabelecida há muito, e este scraper não toca em nenhum início de sessão, nenhuma conta e nenhuma barreira de pagamento.

O que muda aqui é a jurisdição. O serviço é alojado na China, os dados descrevem negócios na China, e os próprios termos do Baidu restringem o acesso automatizado - por isso isto é tanto uma questão de termos como legal, e não são os termos a que a maioria de quem lê este site está habituada. Se vai tirar os resultados da China, a transferência transfronteiriça é uma questão real com regras próprias e não uma reflexão tardia, e vale a pena colocá-la a alguém qualificado antes de uma pipeline depender da resposta. Não somos as pessoas certas para dar esse conselho, e este parágrafo não é isso.

Do lado dos dados pessoais, as linhas são registos de negócio, o que mantém a maior parte disto de fora - mas phone continua a ser um número de contacto, e num trabalhador independente ou numa loja pequena esse número chega muitas vezes a uma pessoa concreta. Se a sua análise é sobre cobertura e localização e não sobre contacto, descarte a coluna na importação e a questão deixa de ser sua. Não corremos rastreadores de terceiros na camada de dados, e as suas exportações apagam-se sozinhas ao fim de 30 dias.

Registar agora
livescraper.app · princípios
Apenas registos públicos de negócios✓
Sem inícios de sessão, sem tocar em contas✓
A transferência transfronteiriça é sua para resolver✓
phone pode ser dado pessoal - descarte-o se não o usar✓
As exportações apagam-se sozinhas (30 dias)✓
Reveja os termos do próprio Baidu antes de escalar.
Perguntas frequentes

O que as pessoas perguntam
antes de se registarem.

As perguntas que mais ouvimos. Mais alguma? Fale connosco - as respostas são escritas por pessoas, não por bots.

Como faço scraping do Baidu Maps?+
Com o Baidu Maps Scraper:
  1. Inicie sessão na plataforma.
  2. Abra o Baidu Maps Scraper.
  3. Introduza as categorias ou marcas que quer, uma por linha.
  4. Introduza as localidades, uma por linha - ou carregue um ficheiro CSV, XLSX, TXT ou Parquet.
  5. Defina um limite por consulta, ou coloque-o a 0 para levar tudo.
  6. Clique em Get Data.
Porque é que a minha execução voltou vazia?+
Quase de certeza por causa do proxy. O Baidu Maps é alojado na China e bloqueia IPs de centros de dados fora da China, por isso sem um proxy residencial - idealmente com saída na China - o trabalho conclui normalmente e não devolve absolutamente nada. Não há erro nenhum para ler, e é isso que torna a coisa confusa. Aponte a execução a um proxy adequado e experimente uma categoria numa cidade antes de fazer algo maior.
Como funcionam em conjunto as duas caixas de entrada?+
Multiplicam-se. Cada categoria é procurada em cada localidade, por isso dez categorias contra vinte cidades são duzentas pesquisas em vez de trinta. Isso é útil quando quer uma grelha e caro quando não tinha percebido que tinha pedido uma, por isso consulte o estimador antes de lançar uma execução construída a partir de duas listas longas.
O que vem de cada local?+
Nove colunas: a categoria e a localidade que submeteu, o nome, a morada, o telefone, a etiqueta de categoria do próprio Baidu, uma latitude e uma longitude, e o identificador do Baidu para o local. Uma linha por local, e as nove estão no CSV e no XLSX tal como no JSON.
Em que sistema de coordenadas estão a latitude e a longitude?+
Não lho vamos dizer, porque não vimos uma exportação preenchida. Isto pesa mais do que as outras colunas: os serviços cartográficos não publicam todos as posições no mesmo referencial geodésico, e representar dois números num mapa base GPS é uma operação de uma linha que produz um mapa confiantemente errado quando o referencial difere. Confronte alguns locais que conheça com o seu próprio mapa base na sua primeira execução real, e resolva-o aí antes de algo a jusante depender disso.
Porque é que a coluna tag não corresponde à categoria que pedi?+
Porque são coisas diferentes. A coluna category repete o que submeteu; a coluna tag é a classificação do próprio Baidu para o local. Uma pesquisa por um termo pode devolver locais que a plataforma arruma sob algo adjacente, por isso as duas divergem legitimamente na mesma linha. Agrupe por aquela de que a sua pergunta realmente trata.
É legal fazer scraping do Baidu Maps?+
Os registos são informação pública de negócios e isto não lê mais nada - sem início de sessão, sem conta, sem barreira de pagamento. Mas o serviço é alojado na China e os termos do Baidu restringem o acesso automatizado, por isso é tanto uma questão de termos como legal, e tirar os resultados da China levanta regras de transferência transfronteiriça sobre as quais convém obter aconselhamento a sério. As linhas são registos de negócio e não pessoas, embora a coluna do telefone seja uma exceção que convém descartar se não precisar dela.
Quanto custa?+
As primeiras 500 linhas são grátis e de uma só vez, sem cartão de crédito. Depois disso são 0,002 $ por linha - cerca de 2 $ por cada 1.000 locais - que é a mesma tarifa fixa de qualquer outro scraper da plataforma. O estimador mostra o custo de uma execução antes de ela arrancar, o que vale a pena ler aqui porque duas listas de entrada se multiplicam.

Os seus primeiros 500 locais,
são por nossa conta.

500 linhas grátis de uma só vez em cada conta nova - sem data de validade. Depois 0,002 $ por linha, conforme usa - sem cartão guardado até que o diga.

Começar grátis Ver todos os preços
Ativo de imediato · sem cartão

Fazer scraping de dados de locais do Baidu Maps em escala

O Baidu Maps Scraper da Livescraper transforma pesquisas de mapa em dados de locais. Dá-lhe duas listas - as categorias ou marcas que procura e as localidades onde olhar - e a plataforma combina-as, procurando cada categoria em cada localidade. As localidades podem ser escritas uma por linha ou carregadas como ficheiro CSV, XLSX, TXT ou Parquet. Limite as linhas por pesquisa e descarregue os resultados como um CSV, um Excel ou um JSON limpos.

Cada linha traz nove colunas: a categoria e a localidade que submeteu, o nome do local, a morada, o telefone, a etiqueta de categoria do próprio Baidu, uma latitude e uma longitude, e o identificador do Baidu para o local. Essa última coluna é a que torna uma execução repetida uma comparação e não um recomeço, porque sobrevive à mudança de nome de um negócio.

As equipas de expansão lançam uma categoria contra uma lista de cidades para obter uma contagem comparável por mercado num único ficheiro. As equipas de retalho põem uma marca na mesma caixa para mapear as lojas de uma cadeia no continente. Os engenheiros de dados usam-no para fechar a lacuna da China num conjunto de locais montado a partir de fontes ocidentais, onde a cobertura continental afina bastante.

Há duas coisas a saber antes de construir sobre isto. Este scraper precisa de um proxy residencial, idealmente com saída na China: o Baidu Maps é alojado na China e bloqueia IPs de centros de dados fora da China, e sem um a execução conclui e não devolve absolutamente nada em vez de dar erro. E porque todas as exportações aqui arquivadas voltaram como uma linha de cabeçalho sem dados por baixo, esta página nomeia as nove colunas e diz para que serve cada uma sem afirmar um tipo, uma unidade ou um formato para nenhuma - incluindo as coordenadas, cujo referencial deve apurar a partir da sua própria primeira execução antes de as cruzar com dados GPS. Comece grátis: as suas primeiras 500 linhas não custam nada e não exigem cartão de crédito, e depois é uma tarifa fixa de 0,002 $ por linha.