Isto não é um scraper de fichas de produto. Dá-lhe uma página de resultados de pesquisa da Best Buy e devolve uma linha por cada anúncio nela, cada uma com a posição que ocupava - preço, avaliação e lugar na prateleira leem-se da mesma tabela.
/site/searchpage.jsp?st=….position é a posição do anúncio na página de resultados, a partir de 1. As nossas execuções devolveram as posições 1 a 23. É essa coluna que separa isto de um scraper de produtos: está a capturar uma prateleira tal como estava ordenada num dado dia, e não um conjunto de fichas soltas, por isso a mesma consulta executada semanalmente dá-lhe uma série de movimentos em vez de um instantâneo.
Se já usou os nossos outros catálogos de retalho, vai procurar parsed_price, currency, availability e um sinalizador status. Nenhum existe aqui. Este serviço devolve query, name, sku, brand, model, price, rating, reviews, image, url e position - uma forma de resultados de pesquisa, não de ficha de produto.
O SKU da Best Buy é um número simples e cada linha carrega-o duas vezes - uma em sku e outra dentro de url. Na nossa exportação apareceram duas formas de URL: 58 linhas como /product/…/sku/<sku> e 27 como /site/-/<sku>.p?skuId=<sku>. Junte por sku em vez do endereço e ambas as formas reconciliam no mesmo produto.
Em 85 das nossas 85 linhas o valor de brand é uma subcadeia inicial de name. Isso funciona quando o título começa pelo fabricante e dá «HP» ou «Dell»; não funciona quando começa por uma medida ou uma frase comercial, e por isso a nossa exportação contém valores como «Customer», «Latitude» e «15.6" 2K Touchscreen Laptop». Trate-a como o início do título e normalize antes de agrupar por ela.
As nossas sete execuções submeteram todas o mesmo URL de pesquisa e voltaram com 2, 3, 10, 14, 15, 18 e 23 linhas. As posições começavam sempre em 1, por isso o que mudou foi até onde cada execução desceu na página. Reconcilie por sku e position, trate uma execução curta como uma execução curta e não como produtos desaparecidos, e repita-a quando uma série parecer magra.
Os serviços de catálogo de dezassete colunas escrevem um status por linha para que uma recolha bloqueada seja visível. Este esquema não tem nenhum - uma execução que não devolve nada não devolve linha alguma. O catálogo do fornecedor marca este serviço como Partial com a nota -blocked (needs residential proxy), o que bate certo com o que vemos: as linhas chegam, mas a profundidade não está garantida. Conte as linhas por execução e alerte quando caírem.
Pela ordem da exportação. As contagens vêm das nossas próprias sete execuções, por isso onde aqui se diz que uma coluna trazia valor descrevem-se linhas que realmente temos.
url em cada linha. Sete SKU surgiram em mais do que uma das nossas execuções, que é como se segue um produto ao longo das datas.name. Aparecem fabricantes reais, e também fragmentos como «Customer» ou um tamanho de ecrã. Normalize antes de agrupar por ela.reviews: 19 linhas trazem uma avaliação de 0 ao lado de uma contagem de opiniões de 0, e isso é um anúncio que ninguém avaliou ainda, não um mal avaliado.rating, com a mesma ressalva sobre os zeros. A nossa execução ia de 0 até 5.929./product/…/sku/<sku> em 58 linhas e /site/-/<sku>.p?skuId=<sku> em 27. Ambas incorporam o SKU, por isso o endereço é uma ligação e não uma identidade.query e da data em que a executou.Onze colunas por linha · CSV, JSON ou Excel
Duas coisas a planear. Primeira: este esquema não é a forma de catálogo de dezassete colunas das nossas páginas de distribuidores. Não há parsed_price, nem currency, nem availability, nem description e - o mais importante - nem status por linha. Se escrever um só importador para várias fontes, este precisa do seu próprio ramo. Segunda: a profundidade não é fixa. Sete execuções do mesmo URL de pesquisa devolveram 2, 3, 10, 14, 15, 18 e 23 linhas, sempre a começar na posição 1. O próprio catálogo do fornecedor marca este serviço como Partial com a nota -blocked (needs residential proxy). As linhas chegam; quantas não é coisa que prometamos a partir de sete execuções, e não citamos nenhuma taxa de sucesso.
Execute a mesma consulta com um agendamento e guarde query, sku, position e a data. Como sete dos nossos SKU apareceram em mais do que uma execução, a junção é directa: mesmo SKU, outra posição, outro dia. Essa série é o que uma captura de ecrã não lhe dá.
O preço chegou em 78 das nossas 85 linhas. Retire o símbolo uma vez na importação, guarde o número ao lado do SKU e da data, e uma varredura semanal de uns quantos URLs de pesquisa torna-se uma série de preços de toda uma categoria em vez de um punhado de produtos.
rating e reviews chegaram juntas em 81 linhas. Ordenada pelo número de opiniões, uma página de resultados diz-lhe que produtos acumularam atenção e quais são novos - desde que exclua as linhas 0/0, que significam sem avaliação e não maus.
Não há coluna de descrição, por isso a configuração vive em name. Analisá-la ao longo de uma página de resultados inteira dá-lhe uma tabela de especificações comparável para uma categoria - e model, nas 69 linhas que o traziam, é o que permite encontrar a mesma unidade no catálogo de outro retalhista.
Uma única vez, ao registar-se. Sem cartão, e sem nada para cancelar depois.
Facturado pelas linhas efectivamente devolvidas - o que aqui é o mais justo, porque um URL de pesquisa pode produzir duas linhas ou duas dúzias. A nossa execução de 23 linhas custou 23 linhas; a de 2 linhas custou 2.
Os créditos não expiram num ciclo mensal. Siga uma categoria durante o outono e pare no verão se o trabalho tiver essa forma.
LIVESCRAPER10 no pagamento.O outro serviço de resultados ordenados que existe aqui: entra uma consulta, sai uma linha por oferta. Execute os dois sobre o mesmo produto e verá a prateleira do próprio retalhista ao lado do mercado aberto.
O mesmo mercado de hardware noutro retalhista. Vale a pena ler a página antes de planear uma execução - a história dela é o contrário desta.
O preço para empresas de hardware comparável, no esquema de dezassete colunas. Lá um URL de categoria abre-se como aqui o faz um de pesquisa.
Uma imagem datada da página de resultados ao lado das linhas ordenadas. Quando a prova é a posição, é a imagem que a torna defensável.
Preços, avaliações e ordem da prateleira numa página de pesquisa pública são informação competitiva corrente. As ressalvas que vale a pena nomear são sobre o ritmo, e sobre sermos francos onde não conseguimos verificar algo.
Um preço, um título de produto, uma avaliação e a ordem em que os anúncios aparecem são factos sobre bens postos à venda. Lê-los de uma página servida a qualquer visitante é o que um comprador faz à mão, apenas a uma velocidade útil. Nada nas onze colunas descreve uma pessoa: nem nome, nem endereço de correio electrónico, nem telefone, nem conta - por isso as questões de protecção de dados que moldam os nossos serviços sobre pessoas não se colocam aqui.
Duas coisas são próprias deste sítio. Primeira, o ritmo. Uma página de pesquisa é um pedido mais pesado do que uma ficha de produto e a profundidade que obtivemos variou entre duas e vinte e três linhas na mesma consulta, por isso trabalhamos a um ritmo comedido e deve agendar em conformidade em vez de martelar um URL à procura de uma página mais funda. O próprio catálogo do fornecedor marca este serviço como Partial e anota que precisa de um proxy residencial, que é a mesma história vista do outro lado. Segunda, e preferimos dizê-lo a disfarçá-lo: não conseguimos ler o robots.txt da Best Buy. Três acessos comuns a partir da nossa máquina em 12 de agosto de 2026 - a página inicial, o ficheiro robots e o URL de pesquisa - esgotaram o tempo ou viram a ligação cortada, enquanto um sítio sem relação respondia normalmente na mesma sessão. Por isso esta página não cita nenhum resumo do robots.txt: não vimos o ficheiro.
As nossas condições são as mesmas de qualquer outro serviço aqui. Apenas páginas de acesso público, nada atrás de um início de sessão, sem rastreadores de terceiros na camada de dados, e as exportações são apagadas automaticamente ao fim de 30 dias. As suas primeiras 500 linhas são grátis e não exigem cartão.
/site/searchpage.jsp?st=…, e cada uma devolveu uma linha por anúncio dessa página com a sua posição em position. É essa a forma em torno da qual o serviço está construído.query, name, sku, brand, model, price, rating, reviews, image, url, position. Não há parsed_price, nem currency, nem availability, nem description, nem status por linha.brand é uma subcadeia inicial de name, por isso um título que começa pelo fabricante dá-lhe «HP», e um que começa por um tamanho de ecrã dá-lhe um tamanho de ecrã. Normalize-a, ou retire o fabricante de name.sku. Chegou nas 85 linhas, tem 70 valores distintos e aparece também dentro de url em cada linha - incluindo as 27 cujo endereço usa a forma /site/-/<sku>.p?skuId= em vez de /product/…/sku/. Se precisar antes de cruzar com outro retalhista, use model, que chegou em 69 linhas.price chega tal como apresentado, símbolo incluído, em 78 das nossas 85 linhas, e este esquema não tem coluna numérica nem de moeda separada. Retire o símbolo na importação se pensa calcular com ele.Um URL de pesquisa, uma linha por cada anúncio nela, com preço, avaliação e a posição que ocupava. As suas primeiras 500 linhas são grátis, depois US$ 0,002 cada.
A Best Buy é uma retalhista de electrónica de consumo, e o serviço desta página lê os seus resultados de pesquisa em vez das suas fichas de produto. Essa distinção atravessa tudo o resto. Submete um URL com a forma /site/searchpage.jsp?st=…, e o que volta é uma linha por cada anúncio dessa página, com a posição que ocupava numa coluna position. As nossas sete execuções submeteram todas a mesma consulta de portáteis e produziram entre si oitenta e cinco linhas, com posições de um a vinte e três. Se o que quer é a ficha completa de um produto, esta é a forma errada; se o que quer é o estado de uma categoria num dado dia, é exactamente a certa.
O esquema tem onze colunas e não é a forma de dezassete dos nossos catálogos de distribuidores. Não há coluna de preço calculável, nem moeda, nem disponibilidade, nem descrição e - a que mais provavelmente morde - nenhum sinalizador de estado por linha. Nos serviços de dezassete colunas uma recolha bloqueada continua a produzir uma linha que o diz. Aqui uma execução que alcança menos página simplesmente devolve menos linhas, e nada no ficheiro distingue uma prateleira curta de uma execução curta. A nossa prova disso é directa: sete execuções de uma consulta idêntica devolveram duas, três, dez, catorze, quinze, dezoito e vinte e três linhas, todas a começar na posição um. O catálogo do fornecedor marca este serviço como Partial e regista que precisa de um proxy residencial. Conte as linhas por execução, guarde a contagem e alerte quando caia, em vez de assumir que a categoria encolheu.
Duas colunas compensam uma leitura atenta. sku é o número de produto próprio da Best Buy e o correcto para juntar: chegou em cada linha, tinha setenta valores distintos nas nossas oitenta e cinco, e aparece dentro do próprio URL da linha nas duas formas de endereço que vimos. brand não é o que o nome sugere. Nas oitenta e cinco linhas é uma subcadeia inicial do título do anúncio, o que dá um fabricante real quando o título começa por um e dá um tamanho de ecrã ou uma palavra solta quando não - a nossa exportação contém «HP» e «Dell» ao lado de «Customer» e de um fragmento de descrição de produto. Normalize antes de agrupar. model, presente em sessenta e nove linhas, é o identificador mais escasso mas mais portátil, e é o que permite encontrar a mesma unidade no catálogo de outro retalhista. Avaliações e contagens de opiniões chegaram juntas em oitenta e uma linhas, e dezanove delas trazem zero em ambas, o que significa sem avaliação e não mal avaliado.
Uma coisa que não faremos é descrever um ficheiro que não conseguimos ler. Em 12 de agosto de 2026, três acessos comuns a partir da nossa máquina - a página inicial da Best Buy, o seu robots.txt e o próprio URL de pesquisa - esgotaram o tempo ou viram a ligação cortada, enquanto uma retalhista sem relação respondia normalmente na mesma sessão. Por isso esta página não traz nenhum resumo do robots.txt do sítio, porque não o vimos, nem nenhuma taxa de sucesso, porque sete execuções de uma consulta não podem sustentar uma. O que afirmamos é o que a nossa própria exportação contém e como foi medida. Apenas páginas de acesso público, nada atrás de um início de sessão, sem rastreadores de terceiros na camada de dados, as exportações são apagadas automaticamente ao fim de 30 dias, e as suas primeiras 500 linhas são grátis e sem cartão.