A maioria dos scrapers de catálogo dá-lhe uma linha por produto. Este desce mais um nível: submeta uma página de colecção e obtém uma linha por cada tamanho e cor, cada uma com o seu próprio SKU, o seu próprio preço e o seu próprio estado de stock.
A nossa execução submeteu uma única página de colecção de luvas de homem e recebeu 66 linhas, todas com ok, repartidas por dez produtos distintos - entre 4 e 12 linhas cada. O exemplo de teste publicado pelo fornecedor para este serviço é esse mesmo URL de colecção, por isso a abertura é o fluxo previsto e não um efeito secundário da forma como pedimos.
É esta a parte que muda a forma como modela os dados. Cada linha é um tamanho e uma cor - com o seu sku, a sua availability e um name que traz o sufixo, como em … Steel Blue / XS. Doze das nossas linhas partilhavam um mesmo product_url. Agrupe por product_url para obter produtos; guarde as linhas para obter a curva de tamanhos.
Nas nossas 66 linhas, 39 voltaram como InStock e 27 como OutOfStock - em produtos nominalmente disponíveis. Um scraper ao nível do produto teria dado os dez como disponíveis. Aqui vê que uma cor falta em L mas não em M, e essa é a diferença entre um relatório de stock e um relatório de stock sobre o qual se pode agir.
Ambas as colunas estão vazias nas 69 linhas que temos. Verificámos porquê: aceder a uma dessas fichas de produto devolve um bloco de dados estruturados que descreve o produto e todas as variantes - e não traz qualquer avaliação nem qualquer contagem de opiniões. As colunas estão vazias porque a página não publica esses números, não porque a execução tenha falhado. Não planeie um fluxo de opiniões à volta deste serviço.
As nossas 66 linhas traziam quatro valores de marca - Forclaz em 40, Wedze em 14, Quechua em 6 e Kiprun em 6. São as marcas próprias da Decathlon, por isso a coluna de marca agrupa um catálogo em vez de identificar um fabricante que pudesse procurar noutro lado. Se o seu fluxo é cruzar retalhistas, esta é a fonte errada; se é investigar o sortido de marca própria, é uma boa.
Uma segunda execução sobre o mesmo URL devolveu uma única linha que descreve a página - nome «Men's Gloves», o logótipo da Decathlon como imagem, sem sku e sem product_url. É também a única linha cujo price traz símbolo monetário. Filtre por sku estar presente antes de agregar e essa linha sai limpamente.
Lido de uma exportação real, pela ordem da folha. As contagens abaixo vêm da nossa execução de colecção de 66 linhas, por isso onde aqui se diz que uma coluna trazia valor descrevem-se linhas que realmente temos.
sku em todas as linhas que temos, ao contrário das nossas páginas de distribuidores, onde as duas colunas trazem numerações diferentes.$49.99. Leia currency em vez de deduzir a partir do texto.USD em todas as linhas de produto da nossa execução. Leia-a em vez de a assumir: a Decathlon opera lojas nacionais e a coluna existe precisamente porque a resposta nem sempre é a mesma.InStock ou OutOfStock, por variante. A nossa execução dividiu-se 39 para 27. É a coluna que faz valer a pena executar o serviço com um agendamento em vez de uma só vez.rating.sku_code. Guarde as duas se estiver a escrever um importador para vários dos nossos serviços de catálogo, onde muitas vezes diferem; aqui use qualquer uma.product_url - a linha aponta para a sua própria ficha de produto e não para a colecção de onde veio.images.ok em 67 linhas e http 404 em 2, estas últimas de um endereço de exemplo que não existe. Reconcilie por esta coluna e não pela contagem de linhas, que uma abertura por variantes torna inútil por si só.Dezassete colunas por linha · CSV, JSON ou Excel
O que deve orientar o seu importador é que uma linha é uma variante. Um URL de colecção produziu 66 linhas sobre dez produtos na nossa execução - de 4 a 12 linhas cada - com o tamanho e a cor no sufixo de name e o stock decidido por linha. É por isso que availability vale a pena: 39 dessas 66 estavam disponíveis e 27 não, em produtos que um scraper ao nível do produto teria reportado como disponíveis. Duas colunas estão vazias por uma razão que verificámos em vez de adivinhar. Aceder a uma das fichas de produto devolve um bloco de dados estruturados que descreve o produto e lista todas as variantes com o seu preço, a sua moeda e o seu stock - e não traz avaliação nem contagem de opiniões em lado nenhum. rating e reviews estão vazias porque a fonte não as publica.
O stock chega por variante, por isso uma execução semanal diz-lhe que uma cor desapareceu em M e L enquanto o XS continua na prateleira. É a forma da procura dentro de um produto, e é invisível para qualquer scraper que reporte uma só disponibilidade por ficha.
Quatro marcas cobriram toda a nossa execução - Forclaz, Wedze, Quechua e Kiprun. Agrupe por brand e product_url e um par de URLs de colecção dá-lhe a forma de uma gama própria: quantos produtos, quantas variantes cada um, a que preços.
parsed_price é um número simples e currency diz-lhe em que está denominado, por isso uma execução agendada de colecção produz uma série de preços limpa sem qualquer limpeza de texto. A nossa execução tinha sete preços distintos em dez produtos.
images trazia até 25 URLs por linha e está verificado que image é a primeira delas, por isso pode construir um feed com imagem principal e galeria sem dividir texto no caso comum. A descrição repete-se entre as variantes de um produto, que é o que se quer num feed.
Uma única vez, ao registar-se. Sem cartão, e sem nada para cancelar depois.
Facturado pelas linhas efectivamente devolvidas - algo a planear aqui, porque as variantes multiplicam. Um URL de colecção produziu 66 linhas na nossa execução, e 66 linhas é o que custaria.
Os créditos não expiram num ciclo mensal. Faça uma varredura da gama de inverno em outubro e mais nada até à primavera se o trabalho tiver essa forma.
LIVESCRAPER10 no pagamento.Outro catálogo de vestuário no mesmo esquema, onde tamanho e cor contam tanto como aqui.
Uma retalhista europeia de consumo nas mesmas dezassete colunas - leia a página antes de a executar, a história ali é diferente.
Sortido de grande armazém nas mesmas colunas. Útil quando compara uma gama de marca própria com uma multimarca.
Uma imagem datada do anúncio ao lado das linhas. Prática quando o que afirma é que um tamanho estava esgotado num dia concreto.
Preços, tamanhos e stock numa ficha pública são factos comerciais correntes. As ressalvas que vale a pena nomear aqui são sobre o volume e sobre para que servem - e não servem - estes dados.
Um preço, um nome de produto, um tamanho e se está disponível são factos sobre bens postos à venda. Lê-los de uma página servida a qualquer visitante é a mesma actividade que um comprador faz à mão, apenas a uma velocidade útil. Nada nas dezassete colunas descreve uma pessoa: nem nome, nem endereço de correio electrónico, nem telefone, nem conta - por isso as questões de protecção de dados que moldam os nossos serviços sobre pessoas não se colocam aqui.
O que é próprio deste sítio é o volume. Um URL de colecção que se abre até cada variante faz mais trabalho por pedido do que uma recolha de ficha, e produz muito mais linhas: uma página de colecção deu-nos 66. Trabalhamos a um ritmo comedido e mostramos qualquer falha na coluna de estado em vez de a repetir até à exaustão, e deve agendar tendo a multiplicação em mente em vez de tratar um URL de colecção como um atalho grátis. Para que fique registado: nenhuma das nossas execuções contra este sítio foi bloqueada - as duas linhas sem ok da nossa exportação são 404 de um endereço de exemplo que não existe, e o catálogo do fornecedor não regista qualquer bloqueio para este serviço.
As nossas condições são as mesmas de qualquer outro serviço aqui. Apenas páginas de acesso público, nada atrás de um início de sessão, sem rastreadores de terceiros na camada de dados, e as exportações são apagadas automaticamente ao fim de 30 dias. As suas primeiras 500 linhas são grátis e não exigem cartão.
ok, todas partilhando a mesma query. O exemplo de teste publicado pelo fornecedor para este serviço é esse mesmo URL de colecção.sku, a sua availability e um name a terminar em algo como - Steel Blue / XS. Na nossa execução um produto produziu doze linhas. Agrupe por product_url se quiser uma linha por produto.InStock e 27 como OutOfStock - em dez produtos que um scraper ao nível do produto teria dado como disponíveis. É a diferença entre saber que um produto existe e saber que o pode comprar em L.parsed_price é um número simples e, nas linhas de produto, price traz o mesmo valor sem símbolo; currency era USD em todas as linhas de produto da nossa execução. A única linha que trazia símbolo era a própria página de colecção, não um produto.sku e sem product_url. Filtre por sku estar presente antes de agregar e ela sai.Um URL de colecção, uma linha por cada tamanho e cor, com preço, stock e imagens em cada uma. As suas primeiras 500 linhas são grátis, depois US$ 0,002 cada.
A Decathlon é uma retalhista de artigos desportivos que vende sobretudo marcas próprias, e o serviço desta página lê as suas páginas de colecção e de produto para a mesma tabela de dezassete colunas que os nossos outros scrapers de catálogo produzem. O que a distingue desses é a profundidade da abertura. A nossa execução submeteu um único URL de colecção de luvas de homem e recebeu sessenta e seis linhas, todas com sucesso, repartidas por dez fichas de produto distintas, entre quatro e doze linhas cada. O exemplo de teste publicado pelo fornecedor para este serviço é esse mesmo URL de colecção, por isso este é o fluxo previsto e não um acaso da forma como pedimos.
As linhas são variantes, não produtos. Cada uma é um tamanho concreto numa cor concreta, com o seu número de artigo em sku, o seu estado de stock em availability e um name que termina com a variante - algo como Steel Blue / XS. É essa toda a razão para executar isto em vez de um scraper ao nível do produto: das nossas sessenta e seis linhas, trinta e nove estavam disponíveis e vinte e sete não, em dez produtos que uma verificação ao nível da página teria reportado como disponíveis. Saber que uma cor desapareceu em médio e grande enquanto o extrapequeno continua intacto é um facto diferente de saber que o produto existe, e é o que sustenta um aviso de reposição ou um relatório de curva de tamanhos. Agrupe por product_url quando quiser produtos de volta; guarde as linhas quando quiser o detalhe.
Duas colunas chegam vazias em todas as linhas, e verificámos porquê em vez de adivinhar. Aceder a uma das fichas de produto devolve um documento grande com um bloco de dados estruturados que descreve o produto e lista todas as suas variantes, cada uma com preço, moeda e estado de stock - e que não contém qualquer avaliação média nem contagem de opiniões em lado nenhum. Por isso rating e reviews estão vazias porque a fonte não as publica, e nenhuma repetição da execução mudará isso. O mesmo acesso corroborou o resto da exportação: o número de variantes listadas na página correspondia exactamente ao número de linhas que a nossa execução produziu para esse produto, o número de artigo aparecia em ambos, e a marca coincidia. Os preços chegam como números simples em parsed_price, com currency ao lado - leia a moeda em vez de a assumir, já que a Decathlon opera lojas nacionais.
A coluna de marca merece uma ressalva. A nossa execução devolveu quatro valores - Forclaz, Wedze, Quechua e Kiprun - todos marcas próprias da Decathlon. Isso faz desta uma fonte excelente para mapear um sortido de marca própria e fraca para casar um produto com outro retalhista, porque não há fabricante externo por onde cruzar. Além disso, planeie o volume: as variantes multiplicam, um URL de colecção custou-nos sessenta e seis linhas em vez de uma, e a facturação segue as linhas devolvidas. Nenhuma das nossas execuções contra este sítio foi bloqueada - as únicas linhas sem ok da nossa exportação são 404 de um endereço de exemplo - e o catálogo do fornecedor não regista bloqueio para o serviço. Apenas páginas de acesso público, sem rastreadores de terceiros na camada de dados, as exportações são apagadas automaticamente ao fim de 30 dias, e as suas primeiras 500 linhas são grátis e sem cartão.