Fazer scraping de páginas de produto da Lowes para linhas
O Scraper de Produtos da Lowes transforma páginas de produto e de categoria da lowes.com em linhas. Cole uma URL de produto - o exemplo da própria plataforma é lowes.com/pd/625493716 - ou uma URL de categoria ou busca, uma por linha, ou envie um arquivo CSV, XLSX ou TXT, defina um limite por consulta, e cada produto volta como um registro com a consulta de onde veio, o serviço que o produziu, o nome, preço e moeda, disponibilidade, marca, sku, mpn e gtin, uma nota e número de avaliações, uma imagem, um link e uma descrição. Quinze colunas no arquivo e dezesseis no JSON, uma linha por produto.
Uma peça de configuração separa esta página da maioria das irmãs dela. A Lowes é um de exatamente quatro varejistas deste pipeline compartilhado que a ferramenta aponta como precisando de um proxy residencial seu - os outros são Grainger, Zalando e Fastenal. A razão dada é que tais varejistas bloqueiam endereços de datacenter ou renderizam os produtos no cliente, e a ferramenta não diz qual se aplica à Lowes, então esta página não chuta. De um jeito ou de outro a consequência prática é a mesma: configure o proxy antes da primeira execução, porque neste varejista um arquivo vazio provavelmente significa o proxy e não a marcação.
Duas coisas vale entender antes de construir sobre esta exportação. Os produtos são lidos do JSON-LD que uma página publica sobre si mesma - os dados estruturados que os varejistas embutem para que os buscadores possam exibir um preço e um estado de estoque. É por isso que as colunas carregam os nomes que carregam, e daí sai um teto: toda coluna depois de service só existe se o varejista declarou aquele campo, então uma célula vazia significa não publicado e não execução falhou. E esta página não imprime valores de exemplo, porque nunca a rodamos contra a Lowes. Das quarenta e cinco exportações que temos do pipeline compartilhado por trás deste serviço, nenhuma é uma execução da Lowes - quarenta e quatro devolveram um cabeçalho e nenhuma linha, e a única preenchida é de outro varejista. Essa exportação vale exatamente uma observação honesta, e ela é sobre a ferramenta e não sobre a Lowes: query e service preencheram em toda linha porque o scraper os escreve ele mesmo, e seis das quinze colunas estavam vazias em todas as linhas.
No lado jurídico, esta é uma das exportações mais leves do nosso catálogo. Tudo o que é coletado é mostrado a qualquer visitante numa página de produto pública, não há login nem paywall envolvido, e nenhuma pessoa é nomeada em nenhuma das quinze colunas - reviews é uma contagem e não texto de avaliação. São produtos e preços. Os próprios termos da Lowes continuam regendo a coleta automatizada do site deles e, como a execução sai por um proxy que você providencia e não pelo nosso pool compartilhado, essa é uma questão que lhe toca mais de perto que o normal - leia antes de escalar, e lembre que descrições de produto e imagens são textos e fotografias de outra pessoa se você pretende republicá-los. Comece grátis: suas primeiras 500 linhas não custam nada e não precisam de cartão, e depois são US$ 0,002 por linha, tarifa plana.