Livescraper
EntrarComeçar
Scraper de Produtos do Waxie

Dois números de artigo,
e preço nenhum.

A Waxie é uma grossista de produtos de higiene e limpeza, por isso as suas páginas de artigo trazem aquilo de que um sistema de compras precisa - um nome de produto, uma descrição, o número de artigo do distribuidor e o do fabricante - e só mostram um preço a uma conta com sessão iniciada. Este serviço devolve as dezassete colunas. Os campos de identidade voltam; os de dinheiro não, e dizemos-lhe quais antes de se registar.

Começar grátis Ver preços
500 linhas grátis, uma única vezdepois US$ 0,002 por linhaduas colunas de identificador distintasCSV · JSON · Excel
Como funciona

Entra uma lista de URLs, sai uma folha de cálculo.

  1. PASSO 1Inicie sessão na plataforma.
  2. PASSO 2Abra o Waxie Products Scraper.
  3. PASSO 3Cole os URLs de artigo da Waxie que quiser, um por linha.
  4. PASSO 4Escolha o formato de saída (CSV / JSON / XLSX).
  5. PASSO 5Execute a tarefa.
  6. PASSO 6Descarregue os resultados - uma linha por URL, dezassete colunas.
O que esperar

O que vale a pena saber antes de executar.

As duas colunas de identificador levam números diferentes

É esta a utilidade de um distribuidor. Na nossa linha real, sku_code era 1033704 - o número de artigo da própria Waxie - e sku era 80009, que a página rotula com todas as letras como Manufacturer Item. Ambos estão na página em directo e ambos estão na exportação. Todas as páginas desta família dizem para verificar os dois antes de escolher uma chave de junção; este é o caso que mostra porquê.

As colunas de preço voltam vazias

price, parsed_price, currency e availability estavam vazias nas nossas duas linhas reais. Peça a página de artigo você mesmo e verá porquê: um visitante anónimo recebe o produto e um aviso de início de sessão, não um número. A nota de serviço publicada da Waxie diz o mesmo - um site grossista onde alguns dados não se conseguem ler sem login. Não iniciamos sessão, por isso não os temos.

Os preços são por filial, não por catálogo

Os URLs de artigo trazem um warehouse-id. É uma grossista a cotar contra o stock de uma filial específica e as condições de uma conta específica, o que é uma segunda razão para não haver um número público único para ler - mesmo o valor com sessão iniciada depende de quem pergunta e de onde.

Duas execuções, o mesmo URL, completude diferente

As nossas duas execuções bem-sucedidas submeteram o mesmo artigo com cinco minutos de intervalo e ambas devolveram status: ok. A primeira voltou com o nome do produto e mais nada; a segunda acrescentou a descrição, ambos os identificadores e o URL canónico. Mesma página, mesmo dia, profundidade diferente - por isso trate uma linha magra como algo a repetir e não como prova de que o campo não existe.

O fabricante está na página mas não na coluna da marca

A página de artigo em directo nomeia o seu fabricante, e mesmo assim a nossa coluna brand estava vazia nas duas linhas reais. Registamos isso como uma falha em vez de a explicar para longe. Entretanto, o nome do fabricante costuma aparecer dentro do texto da descrição.

Cada linha diz o que aconteceu

A última coluna é status, escrita pelo nosso exportador e não pelo site. Ao longo das nossas quatro execuções assumiu dois valores - ok e http 404, este último num endereço fictício que não existe - por isso uma linha que falhou chega na mesma, com o motivo.

O que recebe

Dezassete colunas, oito delas preenchidas.

Lidas do cabeçalho de uma exportação real, pela ordem da folha. Onde observámos uma coluna com valor, aqui diz-se como era esse valor. Onde a observámos vazia em todas as linhas, diz-se isso.

query
O URL da Waxie que submeteu, repetido em cada linha para que uma exportação com muitos artigos continue separável. Em todas as nossas linhas coincidia exactamente com url.
sku_code
O número de artigo da própria Waxie - 1033704 na nossa linha real, o número com que a página do artigo abre. É o que se usa quando fala com a Waxie sobre uma encomenda.
product_url
A página de artigo canónica. Preenchida na nossa execução mais completa e aí igual ao URL submetido; vazia na execução mais magra do mesmo artigo, o que faz parte do motivo por que essa inconsistência vale a pena conhecer.
name
O título do produto tal como a página o indica - WAXIE MULTI-TASK WIPES BUCKETS na nossa linha. Conte com abreviatura de distribuidor em maiúsculas e não com prosa de marketing.
description
O texto longo do produto. Na nossa linha trazia o detalhe da embalagem - a quantidade por caixa e com o que o artigo se usa - que num catálogo grossista é muitas vezes o único sítio onde o tamanho do pacote está escrito. Dê-lhe uma coluna larga ou um tipo texto.
parsed_price
Destinada a levar o preço como número puro. Veja a nota por baixo da tabela.
price
Destinada a levar o preço tal como apresentado.
currency
Destinada a levar a moeda.
availability
Destinada a levar o estado de stock. Aqui o stock é por filial - os URLs trazem um identificador de armazém - e o stock de uma filial não é publicado a um visitante anónimo.
rating
Destinada a levar uma classificação média. Um catálogo grossista para compradores profissionais em geral não traz classificações de consumidor, por isso escreva o importador para aceitar a célula vazia.
reviews
Destinada a levar o número de avaliações, com a mesma ressalva de rating.
images
Destinada a levar todas as imagens da página.
brand
Destinada a levar o fabricante. Vazia nas duas linhas reais, apesar de a página de artigo em directo imprimir um nome de fabricante. Registada como falha; veja em description se precisar dele.
sku
O número de artigo do fabricante - 80009 na nossa linha real, e rotulado como tal na página. Diferente de sku_code acima, e o que se usa quando cruza o mesmo produto físico entre dois distribuidores diferentes.
url
O endereço a partir do qual a linha foi produzida. Igual a query em todas as linhas que temos, o que indica que estes pedidos foram servidos sem redireccionar.
image
Destinada a levar a imagem principal isolada.
status
Um indicador por linha escrito pelo nosso exportador, não pela Waxie. Ao longo das nossas quatro execuções assumiu dois valores: ok e http 404. Faça a reconciliação por esta coluna e não pelo número de linhas.

Dezassete colunas por linha · CSV, JSON ou Excel

Porque estão vazias as colunas de dinheiro, dito sem rodeios. Temos quatro execuções deste serviço. Duas submeteram um artigo real da Waxie e devolveram status: ok; duas submeteram um endereço fictício que não existe e devolveram http 404. Nas duas linhas reais, price, parsed_price, currency e availability eram cadeias vazias - e também o eram rating, reviews, brand, image e images. Isso é uma propriedade da fonte e não um defeito daqui: pedir a página de artigo directamente devolve uma página funcional de cerca de 131 KB que mostra o produto, ambos os números de artigo e um aviso de início de sessão, e nenhum preço para quem não entrou. A própria nota de serviço publicada da Waxie descreve-a como um site grossista onde alguns dados não se conseguem ler sem login, que é o mesmo facto visto do outro lado. Mais uma ressalva merece a sua atenção: as nossas duas execuções bem-sucedidas foram o mesmo URL com cinco minutos de intervalo, e a primeira devolveu apenas o nome do produto enquanto a segunda devolveu a descrição, ambos os identificadores e o URL canónico. Mesma página, mesmo dia, profundidade diferente. Repita uma linha magra antes de concluir que um campo está vazio.

Fluxos de trabalho comuns

O que dois identificadores permitem.

Cruzamento entre distribuidores

Encontrar o mesmo produto no catálogo de outro

sku é o número do fabricante, por isso sobrevive à passagem de um distribuidor para outro, coisa que sku_code não faz. É essa a chave de junção para perguntar se o artigo que compra à Waxie é o que um concorrente lista - uma pergunta a que um cruzamento por nome não responde de forma fiável sobre descrições comerciais em maiúsculas.

Compras · Sourcing
Reconciliação de catálogo

Alinhar os seus registos de compra com os deles

sku_code é o número que a Waxie usa no seu próprio sistema, o que faz dele o indicado para reconciliar encomendas e facturas. Guarde as duas colunas e consegue falar com o distribuidor na numeração dele e com a sua própria base de dados na do fabricante.

Compras · Registos
Captura do tamanho de embalagem

Tirar a quantidade por caixa da descrição

Num catálogo grossista o detalhe da embalagem está frequentemente escrito no texto do produto em vez de exposto como campo, e a nossa linha não foi excepção. description é de onde o extrair se o seu sistema precisar de uma quantidade por caixa ao lado do artigo.

Operações de e-commerce · Catálogo
Acompanhamento de sortido

Vigiar o que um distribuidor lista

Execute um conjunto de URLs de artigo de forma agendada e guarde name, description e ambos os identificadores com a data da execução. Não obterá movimento de preços assim, mas verá produtos renomeados, redescritos ou retirados, algo que uma grossista raramente anuncia.

Investigação de categoria · Sortido
Começar
Preços

Pague só o que realmente usa.

Plano gratuito

As primeiras 500 linhas são grátis

Uma única vez, ao registar-se. Sem cartão, e sem nada para cancelar depois.

Uma única vez, ao registar-se
Tarifa

depois US$ 0,002 por linha

Facturado pelas linhas efectivamente devolvidas. Uma linha que volta com um status diferente de sucesso não é uma linha de dados de produto, e não lhe é cobrada como tal.

Facturado pelas linhas devolvidas
Sem subscrição

Nada recorrente

Os créditos não expiram num ciclo mensal. Faça uma varredura de catálogo em março e mais nada até setembro se o trabalho tiver essa forma.

Sem expiração mensal
Começar grátis Ver todos os preços
10 % de desconto na sua primeira execução paga.Use o código LIVESCRAPER10 no pagamento.
Registar
Combina bem com

Outros catálogos, as mesmas dezassete colunas.

Scraper de Produtos do BiggestBook

Outro catálogo de distribuidor no mesmo esquema. Aquele é renderizado em JavaScript e este não, que é o tipo de diferença que decide como se constrói uma recolha.

Explorar

Scraper de Produtos do Vistaprint

As mesmas dezassete colunas com os campos de identificador a levar um valor em vez de dois - um contraste útil ao decidir por que coluna juntar.

Explorar

Scraper de Produtos do Otto

O mesmo esquema apontado a um retalhista de consumo em vez de a uma grossista, onde as colunas de preço têm algo público para levar.

Explorar

Capturador de Páginas Web

Uma imagem datada da página do artigo ao lado da linha. Compensa quando a página mostra um aviso de início de sessão onde estaria um preço.

Explorar
A parte legal

É legal fazer scraping da Waxie?

Factos de produto numa página de acesso público são informação concorrencial comum. As ressalvas que vale a pena assinalar aqui dizem respeito à fronteira do início de sessão e a um site que não publica ficheiro robots.

Um nome de produto, uma descrição e um número de artigo são factos sobre bens postos à venda. Lê-los numa página servida a qualquer visitante é a mesma actividade que um comprador faz à mão, a uma velocidade útil. Nada nas dezassete colunas descreve uma pessoa: não há nome, e-mail, telefone nem conta - por isso as questões de protecção de dados que moldam os nossos serviços sobre pessoas não se colocam aqui.

A fronteira que importa neste site é o início de sessão. A Waxie é uma grossista, e os preços, o stock de filial e as condições de conta ficam atrás do login Web@Work - a própria nota publicada do serviço diz precisamente isso. Não iniciamos sessão, não usamos as credenciais de ninguém e não contornamos o aviso, por isso o que este serviço alcança é o que um visitante anónimo alcança. É um limite real e não temporário: se o número de que precisa só aparece depois de entrar com uma conta específica, nada aqui o vai produzir. Vale a pena ser franco também quanto ao segundo ponto - shop.waxie.com não serve robots.txt nenhum, devolve 404. Lemos isso como a ausência de uma instrução e não como permissão, e é por isso que este serviço se mantém no mesmo terreno que usa em todo o lado: páginas públicas, anónimo, a um ritmo comedido.

As nossas condições são as mesmas de qualquer outro serviço aqui. Apenas páginas de acesso público, nada atrás de um início de sessão, sem rastreadores de terceiros na camada de dados, e as exportações são apagadas automaticamente ao fim de 30 dias. As suas primeiras 500 linhas são grátis e não exigem cartão.

livescraper.app · o que enquadra uma execução
Um URL de artigo por linha✓
Apenas acesso anónimo✓
Os preços ficam atrás do início de sessão Web@Work✓
O site não publica robots.txt✓
As exportações são apagadas ao fim de 30 dias✓
Uma grossista cota por conta e por filial. Este serviço é o visitante anónimo, por isso não vê nenhuma das duas.
Perguntas frequentes

O que as pessoas perguntam antes de se registarem.

A exportação inclui preços da Waxie?+
Não. price, parsed_price, currency e availability estavam vazias nas nossas duas linhas reais. A Waxie é um site grossista e só mostra preços a uma conta Web@Work com sessão iniciada; a sua própria nota de serviço publicada diz que alguns dados não se conseguem ler sem login. Não iniciamos sessão nem usamos as credenciais de ninguém, por isso este serviço vê o que um visitante anónimo vê. Nenhuma definição muda isso.
Porque há dois números de artigo e qual devo usar?+
São coisas diferentes. sku_code é o número de artigo da própria Waxie - 1033704 na nossa linha - e sku é o do fabricante, 80009, que a página rotula como artigo do fabricante. Use sku_code para falar com a Waxie sobre uma encomenda, e sku para localizar o mesmo produto físico no catálogo de outro.
Que colunas voltam realmente preenchidas?+
Na mais completa das nossas duas linhas reais: query, sku_code, product_url, name, description, sku, url e status. Vazias em todas as linhas que temos: parsed_price, price, currency, availability, rating, reviews, images, brand e image.
Porque é que duas execuções do mesmo URL devolveram quantidades diferentes?+
Não sabemos, e preferimos dizer-lhe que aconteceu a escondê-lo. As nossas duas execuções bem-sucedidas submeteram o mesmo artigo com cinco minutos de intervalo e ambas reportaram ok; a primeira devolveu apenas o nome do produto e a segunda acrescentou a descrição, ambos os identificadores e o URL canónico. O conselho prático é repetir uma linha magra antes de concluir que um campo está vazio para aquele produto.
Que colunas tem a exportação?+
Dezassete, por esta ordem: query, sku_code, product_url, name, description, parsed_price, price, currency, availability, rating, reviews, images, brand, sku, url, image e status. Uma linha por URL de artigo submetido.
A página nomeia um fabricante - porque está a coluna da marca vazia?+
Não devia estar, e estava, nas duas linhas reais. Registamos isso como uma falha em vez de a disfarçar. Entretanto, o nome do fabricante costuma aparecer dentro de description, por isso é de lá que o deve extrair.
O que significa a coluna status?+
É escrita pelo nosso exportador, não pela Waxie, e diz se aquela linha foi obtida. Ao longo das nossas quatro execuções assumiu dois valores: ok nos dois pedidos de artigo real e http 404 em duas execuções que submeteram um endereço fictício que não existe. Uma linha falhada chega na mesma com o seu motivo.
Quanto custa?+
As suas primeiras 500 linhas são grátis, uma única vez, sem cartão. Depois são US$ 0,002 por linha, facturados pelas linhas efectivamente devolvidas, sem subscrição e sem expiração mensal de créditos.
Em que formatos posso exportar?+
CSV, JSON ou Excel. As dezassete colunas e a sua ordem são iguais nos três.

Leve o catálogo como uma tabela.

Nome, descrição e ambos os números de artigo para cada URL da Waxie que submeter - e uma célula vazia honesta onde o preço fica atrás de um início de sessão. As suas primeiras 500 linhas são grátis, depois US$ 0,002 cada.

Começar grátis Ver todos os preços
Activo de imediato · sem cartão

Extrair dados de produto da Waxie

A Waxie é uma grossista de produtos de higiene e limpeza que vende a contas profissionais e não a consumidores, e isso molda o que uma página de artigo lhe pode dizer. Os campos úteis são os de que um sistema de compras precisa - um nome de produto, uma descrição com o detalhe da embalagem, e dois números de artigo separados - enquanto o preço, o stock de filial e as condições de conta ficam atrás do início de sessão Web@Work. A própria nota publicada do serviço di-lo sem rodeios: um site grossista B2B onde alguns dados não se conseguem ler sem login.

As duas colunas de identificador são a razão por que esta exportação vale a pena. Na linha real que temos, sku_code era 1033704 - o número de artigo da própria Waxie, aquele com que a página abre e o que se cita numa encomenda - e sku era 80009, que a página rotula com todas as letras como o número de artigo do fabricante. Ambos os valores aparecem na página em directo, e é assim que sabemos que a linha é genuína e não um acidente de análise. Todos os scrapers desta família aconselham verificar os dois campos de identificador antes de escolher uma chave de junção; a Waxie é o caso que mostra porque isso importa. O número do fabricante é o que sobrevive à passagem de um distribuidor para outro, por isso é a coluna por que juntar quando pergunta se dois catálogos listam o mesmo produto físico. O do distribuidor é o que reconcilia contra ordens de compra.

O que não volta é o dinheiro. price, parsed_price, currency e availability estavam vazias nas nossas duas linhas reais, e também rating, reviews, brand, image e images. Pedir a página de artigo directamente explica o primeiro grupo: devolve uma página funcional de cerca de 131 KB que mostra o produto, ambos os números de artigo e um aviso de início de sessão, sem número nenhum para um visitante que não entrou. Os URLs de artigo trazem ainda um identificador de armazém, por isso mesmo o preço com sessão iniciada está limitado a uma filial e a uma conta - não há um único número público que alguém possa ler. Já a coluna brand vazia é uma falha genuína e não uma propriedade da fonte, porque a página em directo imprime de facto um fabricante, e é assim que a registamos.

Uma ressalva de consistência merece ser dita em vez de enterrada. As nossas duas execuções bem-sucedidas submeteram o mesmo URL de artigo com cinco minutos de intervalo e ambas reportaram sucesso, mas a primeira devolveu apenas o nome do produto enquanto a segunda acrescentou a descrição, ambos os identificadores e o URL canónico. Mesma página, mesmo dia, profundidade diferente. Repita uma linha magra antes de concluir que um campo não existe para aquele produto. Duas execuções são além disso uma amostra demasiado pequena para citar uma taxa de sucesso, por isso não citamos nenhuma. Note por fim que shop.waxie.com não publica robots.txt - o pedido devolve 404 - o que tratamos como a ausência de uma instrução e não como permissão: apenas páginas de acesso público, anónimo, a um ritmo comedido, sem rastreadores de terceiros na camada de dados, e as exportações são apagadas automaticamente ao fim de 30 dias. As suas primeiras 500 linhas são grátis e não exigem cartão.