A Newegg é um dos maiores retalhistas online de electrónica e equipamento informático, e defende-se. Todas as execuções que temos foram recusadas antes de chegarem a um produto - por isso esta página diz-lhe como é a exportação, o que está no caminho, e o que medimos e o que não medimos. Esta ordem é deliberada.
Três das nossas cinco execuções submeteram um URL de produto genuíno da Newegg. As três voltaram com blocked (needs residential proxy). As outras duas usaram um endereço fictício e devolveram http 404. Por isso não temos quaisquer dados de produto da Newegg, e esta página começa por aí em vez de o enterrar debaixo de uma lista de funcionalidades.
Peça esse mesmo URL de produto você próprio com um user-agent de navegador e recebe HTTP 302 e 110 bytes - um redireccionamento para um caminho literalmente chamado /areyouahuman. Não é uma página de produto nem um erro: é um ecrã intermédio. É reproduzível com um único comando e é a explicação mais clara para as execuções terem falhado.
A entrada da Newegg no catálogo de serviços traz a nota «Need Residential Paid proxy». As nossas execuções, a nota do fornecedor e uma recolha em directo são três fontes independentes e concordam. Se se contradissessem, dir-lho-íamos; aqui não se contradizem.
Um proxy residencial é o requisito documentado, e é seu para fornecer, não algo que este serviço inclua discretamente. Se tiver um, o esquema abaixo é o que estará a preencher. Se não tiver, conte que a coluna de estado diga blocked e planeie outra fonte para este retalhista em particular.
A exportação traz price e parsed_price, sku e sku_code, image e images, url e product_url. Em cada par, uma é para ler e outra para calcular. Vale a pena saber antes de escrever o importador, e sabe-se pelo cabeçalho mesmo que as nossas execuções não tenham devolvido linhas.
A última coluna é status, escrita pelo nosso exportador e não pelo site. Um pedido recusado volta como linha a carregar o seu motivo em vez de desaparecer, e foi isso que nos permitiu dizer-lhe tudo o que está acima. Faça a reconciliação por essa coluna e um muro fica visível no primeiro dia em vez de três semanas depois.
Lidas do cabeçalho de uma exportação real deste serviço, pela ordem da folha. Nenhuma das nossas execuções devolveu dados sob esse cabeçalho - veja a nota por baixo da tabela - por isso cada entrada diz para que serve a coluna e fica por aí.
sku mais abaixo - verifique os dois antes de escolher uma chave de junção, porque nesta família de esquemas são preenchidos de forma independente e já foram observados tanto iguais como diferentes.url, que indica o endereço a partir do qual a linha foi de facto produzida; as duas divergem assim que um link submetido redirecciona - e neste site um redireccionamento é precisamente o que um pedido comum recebe.parsed_price quando precisar de calcular.rating. Onde ambos existem andam juntos; uma nota sem a contagem por trás não chega para ordenar.sku_code.query para detectar redireccionamentos - aqui vale especialmente a pena, dado para onde um pedido não autenticado é redireccionado.blocked (needs residential proxy) nos três pedidos de produto reais e http 404 nos dois pedidos fictícios. É esta a coluna que traz a verdadeira notícia nesta página.Dezassete colunas por linha · CSV, JSON ou Excel
Temos cinco execuções deste serviço e nem uma devolveu um produto da Newegg. Três submeteram um URL de produto genuíno e voltaram com blocked (needs residential proxy); duas submeteram um endereço fictício e voltaram com http 404. Os dezassete nomes de coluna acima são portanto reais - são o cabeçalho que essas exportações trazem, e um cabeçalho é real haja ou não algo por baixo - enquanto os valores nos são completamente desconhecidos, por isso nenhum é descrito nesta página. Duas coisas corroboram o bloqueio em vez de o deixarem na nossa palavra. O próprio catálogo de serviços do fornecedor anexa à Newegg a nota «Need Residential Paid proxy». E pedir o mesmo URL de produto directamente, com um user-agent de navegador, devolve HTTP 302 e 110 bytes a redireccionar para um caminho chamado /areyouahuman - um ecrã anti-robôs em vez de uma página. Mais uma coisa que deliberadamente não fizemos: a CDW partilha exactamente este esquema de dezassete colunas e a sua exportação traz preços reais. Usar os valores da CDW para ilustrar as colunas da Newegg seria um palpite vestido de medição, por isso esta página não o faz.
Os preços de equipamento mexem-se por oferta e não por estação, e uma única leitura quase nada diz. Guarde parsed_price, currency e a data da execução ao longo de um agendamento e a série é o resultado. Sujeito, neste retalhista, a conseguir passar.
A Newegg vende ao público; o nosso scraper da CDW lê o mesmo equipamento cotado para compradores profissionais, no mesmo esquema. O par é o que interessa - um importador, dois públicos, as mesmas referências.
Execute um conjunto de URLs de produto de forma agendada e guarde name, brand e ambos os identificadores com a data da execução. Os produtos são renomeados, redescritos e retirados mais vezes do que alguém anuncia.
Duas colunas de identificador é o padrão para que este esquema existe. Onde uma listagem publica uma referência de fabricante além da sua, é esse o valor que sobrevive à mudança para outro retalhista - por isso verifique os dois antes de escolher uma chave de junção.
Uma única vez, ao registar-se. Sem cartão, e sem nada para cancelar depois.
Facturado pelas linhas efectivamente devolvidas. Uma linha que volta com um status diferente de sucesso não é uma linha de dados de produto, e não lhe é cobrada como tal - o que neste retalhista em particular vale a pena saber.
Os créditos não expiram num ciclo mensal. Faça uma varredura em março e mais nada até setembro se o trabalho tiver essa forma.
LIVESCRAPER10 no pagamento.O mesmo mercado de equipamento, as mesmas dezassete colunas - e as nossas execuções voltaram com preços reais. Ali um URL de categoria abre-se numa linha por produto.
O mesmo esquema apontado a um grande retalhista de consumo, se o que precisa é de um catálogo generalista e não de componentes.
Outro catálogo neste esquema cujas duas colunas de identificador levam números genuinamente diferentes - útil para ver como o par se comporta.
Uma imagem datada do que um URL serviu de facto. Num site que responde com um ecrã intermédio, essa imagem é a prova.
Factos de produto numa listagem de acesso público são informação concorrencial comum. A pergunta que realmente importa neste site não é se pode lê-los mas se consegue, e preferimos ser francos quanto a isso.
Um preço, um nome de produto, uma marca e um estado de stock são factos sobre bens postos à venda. Lê-los numa página servida a qualquer visitante é a mesma actividade que um comprador faz à mão, a uma velocidade útil. Nada nas dezassete colunas descreve uma pessoa: não há nome, e-mail, telefone nem conta - por isso as questões de protecção de dados que moldam os nossos serviços sobre pessoas não se colocam aqui.
A questão honesta é o acesso, não a permissão. A Newegg opera uma camada anti-robôs que respondeu a todos os pedidos que fizemos, e que responde a uma recolha directa recente com um redireccionamento para um ecrã intermédio em vez de uma página. Não a derrotamos. Não resolvemos desafios, não nos fazemos passar por um comprador com sessão iniciada, e não apresentamos este serviço como forma de contornar uma protecção que o site levantou deliberadamente - o que fazemos é reportar a recusa na coluna de estado para que a possa ver. A via documentada é um proxy residencial, e é sua para trazer. Se está a ponderar fazê-lo, a pergunta relevante é o seu próprio acordo com a Newegg e a opinião dos seus advogados, não a nossa.
As nossas condições são as mesmas de qualquer outro serviço aqui. Apenas páginas de acesso público, nada atrás de um início de sessão, sem rastreadores de terceiros na camada de dados, e as exportações são apagadas automaticamente ao fim de 30 dias. As suas primeiras 500 linhas são grátis e não exigem cartão.
blocked (needs residential proxy); duas submeteram um endereço fictício e devolveram http 404. Não há valores da Newegg nesta página porque não temos nenhum, e preferimos dizer-lho no primeiro ecrã do que depois de se registar./areyouahuman - um ecrã intermédio em vez de uma página de produto. A nota de serviço publicada para a Newegg diz o mesmo por outras palavras: «Need Residential Paid proxy». As nossas execuções são a terceira fonte a dizê-lo.blocked como estado, que é como fica a saber no primeiro dia em vez de descobrir uma coluna vazia três semanas depois.query, sku_code, product_url, name, description, parsed_price, price, currency, availability, rating, reviews, images, brand, sku, url, image e status. Uma linha por URL de produto submetido. Esses nomes vêm do cabeçalho de uma exportação real - um cabeçalho é real haja ou não algo por baixo.Dezassete colunas documentadas a partir de um cabeçalho de exportação real, um obstáculo documentado a partir de três fontes independentes, e nenhuma linha inventada em parte alguma. As suas primeiras 500 linhas são grátis, depois US$ 0,002 cada.
A Newegg é um dos maiores retalhistas online de equipamento informático, componentes e electrónica de consumo, o que torna o seu catálogo uma coisa óbvia de querer numa folha de cálculo: os preços de componentes mexem-se por oferta e não por estação, e uma tabela deles ao longo do tempo vale mais do que qualquer leitura isolada. O obstáculo não é os factos serem privados. É que o site se defende, e esta página vai começar por aí em vez de descrever um produto que não entregou.
Todas as execuções que temos foram recusadas. Três das cinco submeteram um URL de produto genuíno da Newegg e as três devolveram blocked (needs residential proxy); as outras duas usaram um endereço fictício e devolveram http 404. Isso não é o mesmo que não testado - o endereço foi tentado três vezes numa sessão e recusado de cada vez. Outras duas fontes dizem o mesmo de forma independente. A nota de serviço publicada anexada à Newegg diz «Need Residential Paid proxy». E pedir esse mesmo URL de produto directamente, com um user-agent de navegador comum, devolve HTTP 302 e 110 bytes a redireccionar para um caminho literalmente chamado /areyouahuman - um ecrã anti-robôs em vez de uma página de produto, reproduzível com um único comando. As nossas execuções, a nota do fornecedor e uma recolha em directo concordam; onde as fontes divergem dizemo-lo, e aqui não divergem.
O que as execuções estabelecem é a forma da exportação. Dezassete colunas por URL de produto - query, sku_code, product_url, name, description, parsed_price, price, currency, availability, rating, reviews, images, brand, sku, url, image e status - lidas do cabeçalho que essas exportações trazem, que é um cabeçalho real haja ou não algo por baixo. Quatro dessas colunas são pares: preço apresentado contra preço calculável, dois campos de identificador, imagem principal contra todas as imagens, URL pedido contra URL canónico. Saber que metade usar antes de escrever o importador é a diferença entre um carregamento limpo e uma reescrita, e sabe-se só pelo cabeçalho.
Uma coisa que deliberadamente não fizemos. O nosso scraper da CDW usa exactamente este esquema e as suas execuções voltaram mesmo com preços reais, por isso teria sido fácil ilustrar estas colunas com aqueles valores e deixar a parecença de família fazer o resto. São os números da CDW das páginas da CDW, e apresentá-los aqui seria um palpite vestido de medição. Não encontrará portanto preços, referências nem classificações de exemplo em parte alguma desta página. Quanto ao acesso: não resolvemos desafios anti-robôs, não nos fazemos passar por um comprador com sessão iniciada, e não vendemos isto como forma de contornar uma protecção que o retalhista levantou deliberadamente - um pedido recusado volta como linha a carregar o seu motivo, que é como fica a saber no primeiro dia. Um proxy residencial é a via documentada e é sua para fornecer. Se quer preços de equipamento que as nossas execuções tenham realmente produzido, o CDW Products Scraper lê o mesmo mercado no mesmo esquema, e ali um único URL de categoria devolve uma linha por cada produto nela. Apenas páginas de acesso público, sem rastreadores de terceiros na camada de dados, e as exportações são apagadas automaticamente ao fim de 30 dias. As suas primeiras 500 linhas são grátis e não exigem cartão.