Cole uma URL de produto da Costco, ou uma URL de categoria ou busca, e os produtos voltam como linhas - nome, preço e moeda, disponibilidade, marca, as colunas de identificador, nota e avaliações, uma imagem, um link e uma descrição.
Uma entrada e um controle. Aqui não há proxy a configurar, então o trabalho inteiro é uma lista de links e um número.
O limite é por consulta: cinco URLs de categoria com limite de duzentos são duzentos produtos de cada uma - não duzentos no total.
Uma linha pode ser uma página de produto sozinha ou uma URL de categoria ou busca, e uma categoria volta desdobrada nos seus produtos, uma linha cada. É assim que uma página de navegação vira algo que você consegue ordenar por preço ou agrupar por marca.
Alguns varejistas deste pipeline compartilhado precisam de uma saída residencial própria - a ferramenta aponta Lowes, Grainger, Zalando e Fastenal. A Costco não é um deles. A execução passa pelo nosso pool, e não há nada para você configurar.
sku, mpn e gtin chegam como colunas próprias em vez de enterrados num título, e currency fica ao lado de price em vez de dentro. É isso que torna uma exportação casável com um catálogo que não é o da Costco - onde a página declarar esses campos.
Vale dizer com franqueza, porque muda o jeito de ler o dicionário abaixo.
Os quinze nomes de coluna são sólidos: estão confirmados em dobro, pelo array de colunas publicado para este serviço e pela linha de cabeçalho de toda pasta de trabalho que temos do pipeline compartilhado por trás dele - idêntica na preenchida e nas vazias. Construa um esquema em torno desses nomes com confiança.
O que não podemos fazer é lhe dizer o que a Costco põe nelas, porque nunca rodamos isto contra a Costco. Nenhuma das exportações que temos é uma execução da Costco. Quase todas voltaram com um cabeçalho e nenhuma linha, e a única preenchida é de um varejista completamente diferente. Em vez de maquiar isso, esta página não imprime valores de exemplo nem formatos - sem uma execução da Costco, estaríamos inventando.
A boa notícia é como isso se resolve barato. Quais das treze colunas declaradas a Costco realmente publica é uma pergunta que uma única execução pequena responde de vez, e as primeiras 500 linhas não custam nada - então aponte-a para uma única categoria, veja o que voltou e você saberá mais sobre esta exportação do que qualquer página poderia honestamente lhe dizer de antemão.
Os nomes são exatos e duplamente confirmados. As descrições dizem para que serve cada coluna - não o que ela vai conter, porque isso é decisão do varejista e não nossa, e a nota abaixo explica por quê.
gtin, é o que torna uma exportação casável com um catálogo que não é o da Costco.Duas coisas sobre as evidências por trás desta página. Primeiro, o mecanismo: os produtos são lidos do JSON-LD que uma página publica sobre si mesma - os dados estruturados que os varejistas embutem para os buscadores. Isso estabelece um teto que esta página não vai fingir ultrapassar. Toda coluna depois de service só existe se a Costco declarar aquele campo, então um vazio significa não publicado, não execução falhou. Segundo, a lacuna: nunca rodamos isto contra a Costco. Temos quarenta e cinco exportações do pipeline compartilhado por trás deste serviço e nenhuma é uma execução da Costco - quarenta e quatro voltaram vazias e a única preenchida é de outro varejista. Essa exportação vale um dado honesto sobre a ferramenta e não sobre a Costco: query e service preencheram em toda linha, porque o scraper os escreve ele mesmo - e seis das quinze estavam vazias em cada uma das linhas. Conte com lacunas aqui também, conte que elas caiam em outro lugar porque outro varejista publica dados estruturados diferentes, e deixe sua primeira execução gratuita dizer quais. É também por isso que esta página não imprime valores de exemplo nem formatos: sem uma execução da Costco, estaríamos inventando.
Uma lista de URLs e um limite. Sem ordenação, sem filtro, sem campo de proxy - neste varejista não há mais nada para definir.
Este scraper lê os dados estruturados que uma página de produto publica sobre si mesma - o bloco JSON-LD que os varejistas embutem para que os buscadores possam exibir preço e status de estoque. É por isso que as colunas são o que são: sku, mpn, gtin, brand, availability e currency são o vocabulário padrão para descrever um produto, e não nomes que inventamos.
A consequência prática é a que vale planejar. Uma coluna só é tão boa quanto a marcação do varejista. Se um campo falta nos dados estruturados da página, ele volta vazio, e repetir a execução não muda isso - não é uma falha, é uma ausência. Na única exportação preenchida que temos desta ferramenta compartilhada, seis das quinze colunas estavam vazias em todas as linhas.
Se você precisa de algo que a marcação não carrega, isso é outro trabalho - o Scraper Universal com IA lê a própria página e devolve os atributos que você nomear, em vez de apenas o que foi declarado para os buscadores.
Um arquivo enviado não limpa a caixa - as linhas são acrescentadas ao que você já tinha digitado, e duplicatas não são removidas. Envie o mesmo arquivo duas vezes e aquelas URLs serão de fato buscadas duas vezes, e cobradas duas vezes. Isso é próprio deste pipeline: alguns dos nossos outros scrapers deduplicam no upload e este não, então não traga o hábito de lá.
Para um CSV ou TXT a linha inteira é tomada como uma URL, então uma planilha com colunas extras não é o que você quer aqui. Só um XLSX é lido por coluna, e ali ele pega a coluna A.
O seletor lista Parquet ao lado de CSV, XLSX e TXT, mas na verdade não consegue ler um no navegador e vai lhe dizer isso - use um dos outros três.
Alguns exemplos do que um catálogo de varejo vale depois que vira uma tabela.
Dê a ele uma página de categoria e você recebe cada produto dela como linha, com a marca e as colunas de identificador ao lado do nome. Ordenar uma página de navegação por algo que não seja o que o site oferece é justamente o objetivo.
Como service vem carimbado em cada linha, uma mesma tabela pode ter a Costco ao lado dos outros varejistas deste pipeline e ainda assim se separar direitinho. Onde mpn ou gtin estiverem declarados, o mesmo item pode ser casado entre fornecedores.
A mesma URL de categoria de forma programada dá dois arquivos comparáveis. O que apareceu, o que sumiu e o que mudou é um diff em vez de uma tarde de cliques - e sku é a chave para comparar, onde ela for publicada.
Sem assinatura, sem mínimo, sem cobrança recorrente. Suas primeiras 500 linhas são por nossa conta - depois é pagamento conforme o uso, com a mesma tarifa fixa de qualquer outro scraper daqui.
Em toda conta nova, uma única vez. Sem cartão de crédito. Limites por consulta, upload de arquivo e todos os formatos de exportação incluídos - e neste varejista, também não há proxy para pagar.
A mesma tarifa fixa de qualquer outro scraper da plataforma. O estimador prévio mostra a quantidade de linhas e o custo em créditos antes de começar - vale uma olhada aqui, porque o limite é por consulta e uma lista de URLs de categoria multiplica.
Preço por volume, workers dedicados e um SLA para acompanhar um catálogo de forma programada. Conte seus números e enviamos uma proposta.
LIVESCRAPER10 no checkout.Dois irmãos na mesma ferramenta compartilhada, e um para quando os dados estruturados não carregam o que você precisa.
As mesmas quinze colunas e o mesmo teto de JSON-LD em outro catálogo - e, como este, sem proxy seu. Se você acompanha os dois, service mantém as linhas separadas num único arquivo.
O mesmo pipeline de novo, com uma diferença que importa: a Lowes é um dos quatro varejistas que precisa de um proxy residencial seu. Vale saber antes de supor que toda página desta família funciona igual.
Quando o campo que você quer nunca entrou nos dados estruturados, este lê a própria página e devolve os atributos que você nomear. Mais lento e menos previsível do que um esquema fixo - mas não está limitado ao que foi declarado para os buscadores.
Resposta curta: isto são dados públicos de catálogo sem dados pessoais dentro - e os dados estruturados são publicados, de saída, para serem lidos por máquinas.
Tudo nestas quinze colunas é mostrado a qualquer visitante numa página de produto pública da Costco, logado ou não. Nenhum login é usado, nenhum paywall é atravessado e nenhuma conta é tocada, e a execução passa pelo nosso pool de proxies em vez do seu próprio IP. O que é lido especificamente é o bloco JSON-LD - dados estruturados que um varejista embute justamente para que leitores automatizados consigam captar o nome, o preço e a disponibilidade.
Nenhuma pessoa é nomeada nesta exportação. Não há coluna de cliente, de quem avaliou nem de vendedor - reviews é uma contagem, não o texto das avaliações, então nem o corpo de uma avaliação volta. São produtos e preços, o que a coloca na ponta mais leve em termos de proteção de dados.
Os próprios termos da Costco regem a coleta automatizada do site deles, então leia antes de escalar em vez de confiar no fato de as páginas serem públicas. E se você republicar descrições de produto ou imagens, lembre que são textos e fotografias de outra pessoa - coletar para análise é uma questão, publicar é outra. Não rodamos rastreadores de terceiros na camada de dados, e suas exportações se autoexcluem depois de 30 dias.
As perguntas que mais ouvimos. Mais alguma coisa? Fale com a gente - quem escreve as respostas são pessoas, não bots.
Suas primeiras 500 linhas são grátis - sem cartão, sem assinatura. Depois são US$ 0,002 por linha, tarifa fixa.
O Scraper de Produtos da Costco transforma páginas de produto e de categoria da costco.com em linhas. Cole uma URL de produto - o exemplo da própria plataforma é costco.com/….product.100067100.html - ou uma URL de categoria ou busca, uma por linha, ou envie um arquivo CSV, XLSX ou TXT, defina um limite por consulta, e cada produto volta como um registro com a consulta de onde veio, o serviço que o produziu, o nome, preço e moeda, disponibilidade, marca, sku, mpn e gtin, uma nota e número de avaliações, uma imagem, um link e uma descrição. Quinze colunas no arquivo e dezesseis no JSON, uma linha por produto. Diferente de alguns varejistas deste pipeline compartilhado - a ferramenta aponta Lowes, Grainger, Zalando e Fastenal - a Costco não precisa de proxy residencial seu, então não há nada para configurar além da lista e do limite.
Duas coisas vale entender antes de construir sobre esta exportação, e as duas se resumem a de onde vêm os dados. Os produtos são lidos do JSON-LD que uma página publica sobre si mesma - os dados estruturados que os varejistas embutem para que os buscadores possam exibir um preço e um status de estoque. É por isso que as colunas têm os nomes que têm: sku, mpn, gtin, brand, availability e currency são o vocabulário padrão para descrever um produto. Isso também impõe um teto: toda coluna depois de service só existe se o varejista declarou aquele campo, então uma célula vazia significa não publicado e não execução falhou, e rodar de novo não vai preenchê-la.
A segunda é que esta página não imprime valores de exemplo, porque nunca a rodamos contra a Costco. Das quarenta e cinco exportações que temos do pipeline compartilhado por trás deste serviço, nenhuma é uma execução da Costco - quarenta e quatro devolveram um cabeçalho e nenhuma linha, e a única preenchida é de outro varejista. Essa exportação vale exatamente uma observação honesta, e ela é sobre a ferramenta e não sobre a Costco: query e service preencheram em toda linha porque o scraper os escreve ele mesmo, e seis das quinze colunas estavam vazias em todas as linhas. Conte com lacunas aqui também, conte que elas caiam em outro lugar porque outro varejista publica dados estruturados diferentes, e deixe uma pequena execução gratuita dizer quais - é uma pergunta que 500 linhas gratuitas resolvem de vez.
No lado jurídico, esta é uma das exportações mais leves do nosso catálogo. Tudo o que é coletado é mostrado a qualquer visitante numa página de produto pública, não há login nem paywall envolvido, e nenhuma pessoa é nomeada em nenhuma das quinze colunas - reviews é uma contagem e não texto de avaliação, então nem um corpo de avaliação volta. São produtos e preços. Os próprios termos da Costco continuam regendo a coleta automatizada do site deles, então leia antes de escalar, e lembre que descrições de produto e imagens são textos e fotografias de outra pessoa se você pretende republicá-los. Comece grátis: suas primeiras 500 linhas não custam nada e não precisam de cartão, e depois são US$ 0,002 por linha, tarifa plana.