A CDW é uma revendedora de tecnologia e, ao contrário dos outros catálogos neste esquema, não é preciso dar-lhe os produtos um a um. Dê-lhe uma página de categoria e devolve uma linha por cada produto nela listado - com o preço, a referência da CDW e a do fabricante em cada uma.
É esta a diferença útil. A nossa execução submeteu uma única página de categoria de portáteis 2 em 1 e recebeu 24 linhas, todas a reportar ok, todas a partilhar a mesma query, cada uma com o seu próprio product_url. Os outros scrapers de catálogo neste esquema dão uma linha por URL fornecido. Aqui um URL pode ser uma prateleira inteira - e a entrada de exemplo publicada para este serviço é ela própria uma página de categoria.
As 24 linhas traziam parsed_price, price e currency. Peça a mesma página de produto você mesmo e encontrará ambos os identificadores e o nome do produto na marcação - e nenhum valor em dólares, nem um bloco de dados estruturados. O preço é renderizado no navegador. É exactamente por isso que um serviço que renderiza a página devolve um e um pedido HTTP comum não.
sku_code é a referência da própria CDW - é também o último segmento do URL de produto e o identificador dentro do URL da imagem. sku é a referência do fabricante. Nas nossas linhas eram valores diferentes, e ambos aparecem na página em directo. Verifique os dois antes de escolher uma chave de junção: a do fabricante é a que sobrevive à mudança para outro revendedor.
brand, rating, reviews, description e availability estavam vazias nas 24 linhas. Uma página de listagem de revendedor traz preço e referências em vez do mobiliário de avaliações de consumo, por isso desenhe o importador em função do que chega e não da lista de colunas.
A nossa execução mais antiga traz um cabeçalho de onze colunas - sem parsed_price, sem sku_code, sem product_url, sem description, sem reviews, sem images. Todas as execuções a partir de 3 de julho têm a forma de dezassete colunas documentada abaixo. Se tem uma exportação antiga da CDW, é por isso que faltam quatro das colunas que espera.
Duas das nossas execuções voltaram com blocked (needs residential proxy) no mesmo dia em que outras devolveram linhas completas. A coluna de estado diz-lhe qual é qual, por isso uma linha bloqueada é visível e não silenciosa. Oito execuções são uma amostra demasiado pequena para citar uma taxa de sucesso, por isso não citamos - inclua novas tentativas.
Lidas do cabeçalho de uma exportação real, pela ordem da folha. As contagens abaixo vêm da nossa execução de 24 linhas, por isso onde aqui se diz que uma coluna levava um valor está a descrever-se linhas que temos mesmo.
product_url e o identificador dentro do URL da imagem, por isso os três concordam e pode verificar uma linha contra si própria.parsed_price para a aritmética.rating. Vazia nas 24 linhas.name. Se precisar de agrupar por marca, extraia-a do nome.sku_code. É esta a coluna por que juntar quando pergunta se outro revendedor lista o mesmo produto físico.product_url e não a query - a linha aponta para o seu próprio produto, não para a prateleira de onde veio.images.ok, blocked (needs residential proxy), no response (proxy) e http 404. Faça a reconciliação por esta coluna - sobretudo com uma abertura em leque, onde o número de linhas por si só nada diz.Dezassete colunas por linha · CSV, JSON ou Excel
Duas coisas sobre esta tabela merecem leitura antes de construir contra ela. Primeiro, os preços são reais. As 24 linhas da nossa execução de categoria traziam um número, um preço formatado e uma moeda - este é o único catálogo desta família cujas colunas de dinheiro chegam preenchidas. Mas pedir a mesma página de produto directamente devolve cerca de 57 KB de HTML que contêm ambas as referências e o nome do produto e nenhum preço, sem bloco de dados estruturados de onde ler um. O valor é renderizado no navegador. A nossa exportação tem-no porque o serviço renderiza a página, e um scraper assente numa biblioteca HTTP e num analisador de HTML voltaria de mãos vazias parecendo funcionar. Segundo, o esquema mexeu-se. A nossa execução de 1 de julho traz um cabeçalho de onze colunas - query, name, brand, price, currency, sku, availability, rating, url, image, status - sem parsed_price, sku_code, product_url, description, reviews ou images. Tudo a partir de 3 de julho é a forma de dezassete colunas acima. Se está a reconciliar o antigo com o novo, é essa a diferença.
Submeta as páginas de categoria que lhe interessam em vez de enumerar produtos. Um URL devolveu duas dúzias de linhas com preço na nossa execução, por isso uma varredura semanal de um punhado de categorias é uma tarefa pequena que produz uma série de preços real. É este o fluxo para que o serviço foi feito.
sku é a referência do fabricante, por isso sobrevive à passagem da CDW para o catálogo de um concorrente, coisa que a sku_code da própria CDW não faz. Junte-a a parsed_price e consegue responder quem é mais barato numa peça idêntica e não num nome parecido.
As listagens de revendedor põem a configuração no título: processador, memória, armazenamento. Com description vazia, é em name que esse detalhe vive, e extraí-lo dá-lhe uma tabela de especificações comparável numa categoria inteira sem abrir uma única página.
sku_code é o número que a CDW usa no seu próprio sistema, o que faz dele o indicado para reconciliar orçamentos e facturas. Guarde as duas colunas de identificador e consegue falar com a revendedora na numeração dela e com o seu inventário na do fabricante.
Uma única vez, ao registar-se. Sem cartão, e sem nada para cancelar depois.
Facturado pelas linhas efectivamente devolvidas - o que aqui importa mais do que noutros sítios, porque um URL de categoria pode produzir dezenas de linhas. A nossa execução de 24 linhas custou 24 linhas, não uma.
Os créditos não expiram num ciclo mensal. Faça uma varredura de categorias em março e mais nada até setembro se o trabalho tiver essa forma.
LIVESCRAPER10 no pagamento.O mesmo esquema apontado ao lado de consumo do mesmo mercado de equipamento - a segunda fonte óbvia quando compara um preço empresarial com um de retalho.
Outro distribuidor cujas duas colunas de identificador levam números diferentes. Lá o preço fica atrás de um início de sessão; aqui chega.
Outro catálogo que é renderizado no cliente, no mesmo esquema - útil se estiver a construir um importador para várias fontes.
Uma imagem datada da listagem ao lado da linha. Compensa quando um preço é prova: o valor não está no código da página, por isso a renderização é o único registo.
Preços e referências numa listagem de acesso público são informação concorrencial comum. As ressalvas que vale a pena assinalar aqui dizem respeito ao ritmo e a ler as preferências declaradas do próprio site.
Um preço, um nome de produto e uma referência são factos sobre bens postos à venda. Lê-los numa página servida a qualquer visitante é a mesma actividade que um comprador faz à mão, a uma velocidade útil. Nada nas dezassete colunas descreve uma pessoa: não há nome, e-mail, telefone nem conta - por isso as questões de protecção de dados que moldam os nossos serviços sobre pessoas não se colocam aqui.
Duas coisas são específicas deste site. Primeiro, o ritmo. Um URL de categoria que se abre em duas dúzias de linhas faz mais trabalho por pedido do que uma recolha de um único produto, e duas das nossas próprias execuções voltaram bloqueadas num dia em que outras passaram. Avançamos a um ritmo comedido e trazemos o bloqueio para a coluna de estado em vez de o repetir até à exaustão; agende em conformidade e não trate a abertura em leque como um multiplicador gratuito. Segundo, as preferências declaradas do site. O robots.txt da CDW devolve 403 a um cliente simples e 200 a um user-agent de navegador - reportamo-lo em vez de fingir que o ficheiro se leu sem problemas. Lido assim, não traz exclusão geral para rastreadores comuns, e nem o caminho de produto nem o de categoria que usámos estão proibidos.
As nossas condições são as mesmas de qualquer outro serviço aqui. Apenas páginas de acesso público, nada atrás de um início de sessão, sem rastreadores de terceiros na camada de dados, e as exportações são apagadas automaticamente ao fim de 30 dias. As suas primeiras 500 linhas são grátis e não exigem cartão.
ok, todas a partilhar a mesma query, cada uma com o seu próprio product_url. A entrada de exemplo publicada para este serviço é ela própria uma página de categoria. Um URL de produto também funciona e devolve uma única linha.parsed_price, price e currency. Isso torna a CDW invulgar entre os catálogos neste esquema, onde as colunas de dinheiro estão muitas vezes vazias por razões próprias de cada site.query, sku_code, product_url, name, parsed_price, price, currency, images, sku, url, image e status. Vazias nas 24: description, availability, rating, reviews e brand.sku_code é a referência da própria CDW - o mesmo valor com que termina o URL de produto e que aparece dentro do URL da imagem - e sku é a do fabricante. Use a da CDW para falar com a CDW sobre um orçamento, e a do fabricante para encontrar o mesmo produto físico no catálogo de outro revendedor.parsed_price, sku_code, product_url, description, reviews ou images. Todas as execuções a partir de 3 de julho têm a forma de dezassete colunas. Se está a reconciliar o antigo com o novo, é essa a diferença.ok, blocked (needs residential proxy), no response (proxy) e http 404, este último num endereço fictício que não existe. Faça a reconciliação por esta coluna e não pelo número de linhas, que uma abertura em leque torna insignificante por si só.Um URL de categoria, uma linha por cada produto nela, com o preço e ambas as referências em cada uma. As suas primeiras 500 linhas são grátis, depois US$ 0,002 cada.
A CDW é uma revendedora de tecnologia que vende equipamento, software e serviços a empresas, administração pública e ensino. Duas coisas tornam a recolha diferente dos outros catálogos que partilham este esquema de dezassete colunas, e vale a pena conhecer ambas antes de escrever um importador. A primeira é que um URL de categoria se abre em leque. A nossa execução submeteu uma única página de categoria de portáteis 2 em 1 e recebeu vinte e quatro linhas, todas a reportar sucesso, todas com o URL submetido em query e cada uma com o seu product_url distinto. Em todo o resto desta família um URL significa uma linha. Aqui um URL pode ser uma prateleira inteira, e a própria entrada de exemplo publicada pelo fornecedor para este serviço é uma página de categoria e não de produto - a abertura em leque é o fluxo previsto, não um efeito secundário.
A segunda é o preço. As vinte e quatro linhas traziam um número calculável, um preço formatado e uma moeda, o que torna a CDW invulgar aqui: nas nossas outras páginas de catálogo as colunas de dinheiro estão vazias por razões próprias de cada site. O interessante é onde esse preço não está. Pedir a mesma página de produto directamente devolve cerca de 57 KB de HTML que contêm a referência da CDW, a do fabricante e o nome completo do produto - e nenhum valor em dólares, sem bloco de dados estruturados de onde ler um. O valor é renderizado no navegador depois de a marcação chegar. Um scraper assente numa biblioteca HTTP e num analisador de HTML encontrará os identificadores, falhará o preço por completo, e dará toda a aparência de funcionar. Este serviço carrega a página como um navegador faz, e é essa toda a razão por que a coluna vem preenchida.
As colunas de identificador merecem atenção. sku_code é a referência da própria CDW, e é também o último segmento do URL de produto e o identificador embutido no URL da imagem, por isso uma linha pode ser verificada contra si própria. sku é a referência do fabricante e um valor genuinamente diferente. A do fabricante sobrevive à mudança para outro revendedor, por isso é a coluna por que juntar quando pergunta se mais alguém lista o mesmo equipamento físico; a da CDW é a que reconcilia contra um orçamento. Cinco colunas voltaram vazias em todas as linhas - brand, rating, reviews, description e availability - que é aquilo com que se parece uma listagem profissional: referências e preço em vez de mobiliário de avaliações de consumo. O fabricante é normalmente a primeira palavra de name se precisar de agrupar por ele.
Duas ressalvas ditas em vez de enterradas. O esquema mudou entre 1 e 3 de julho de 2026: a nossa execução mais antiga traz um cabeçalho de onze colunas sem parsed_price, sku_code, product_url, description, reviews ou images, e tudo o que se lhe segue é a forma de dezassete. Se tem uma exportação mais antiga, é por isso que as colunas não encaixam. E o bloqueio é real e intermitente - duas das nossas oito execuções devolveram blocked (needs residential proxy) no mesmo dia em que outras devolveram linhas completas, por isso a coluna de estado importa e um agendamento deve incluir novas tentativas. Oito execuções são uma amostra demasiado pequena para citar uma taxa de sucesso e não citamos nenhuma. Quanto ao acesso: o robots.txt da CDW devolve 403 a um cliente simples e 200 a um user-agent de navegador, o que reportamos em vez de embelezar; lido assim não traz exclusão geral, e nem o caminho de produto nem o de categoria que usámos estão proibidos. Apenas páginas de acesso público, sem rastreadores de terceiros na camada de dados, e as exportações são apagadas automaticamente ao fim de 30 dias. As suas primeiras 500 linhas são grátis e não exigem cartão.