Digite uma palavra-chave - ou cole uma URL de categoria ou de produto da Home Depot - e os anúncios voltam como uma tabela: o produto, sua marca, seu preço e preço de tabela, sua avaliação e número de avaliações, seu modelo e SKU, um link, uma imagem e sua disponibilidade.
Um campo obrigatório e um ajuste. Não há controle de ordenação nem seletor de loja ou região.
O limite vale por consulta, então uma lista de palavras-chave o multiplica. Uma categoria ampla sem limite pode render uma execução longa.
O que uma linha de anúncio da Home Depot lhe dá e uma captura de tela da página de busca não dá.
price e original_price são colunas separadas, então um desconto vira uma subtração em vez de um palpite. Acompanhe o par ao longo do tempo e você terá o formato de uma promoção - quando começou, até onde foi e se voltou.
model e sku voltam os dois. Dois identificadores dão duas chances de cruzar uma linha com seu próprio catálogo ou com o feed de outro varejista, o que costuma ser a diferença entre um join que funciona e outro que descarta silenciosamente metade das linhas.
Você não é obrigado a escolher um formato de entrada. Um termo de busca, uma página de categoria e uma página de produto podem ocupar linhas seguidas da mesma execução, de modo que um único trabalho cobre ao mesmo tempo uma varredura ampla e uma lista curta de acompanhamento.
Um é um requisito firme, outro é sobre quanto esta página se dispõe a prometer, e o último é uma armadilha silenciosa no envio de arquivos.
Este serviço precisa do seu próprio proxy residencial pago. Quando uma execução volta sem nada, a plataforma diz o porquê: o homedepot.com não deixa passar endereços de proxy gratuitos, é preciso um endereço residencial pago configurado como PROXY_URL, e seu IP real nunca é usado. Essa mensagem só aparece depois de uma execução vazia, e é justamente por isso que vale lê-la aqui antes: caso contrário, uma tabela vazia parece um serviço quebrado em vez de um ajuste que falta.
Não medimos esta exportação, e esta página não finge o contrário. As doze colunas abaixo são as que o serviço declara, na ordem em que as declara. O que está dentro delas - se price é número ou string, que vocabulário availability usa, se rating e reviews são cifras simples, com que frequência original_price é preenchida - não aparece em lugar algum desta página, porque não temos nenhuma exportação deste serviço para conferir. Outras páginas daqui informam formatos; havia execuções por trás delas. Faça uma primeira execução pequena e leia sua própria linha de cabeçalho antes de montar um pipeline sobre qualquer suposição de formato.
O envio de arquivos lê menos do que você imagina. Ele oferece CSV, XLSX, TXT e Parquet, mas um arquivo Parquet é recusado no navegador, com um aviso mandando colar as URLs ou usar um dos outros três. Num CSV ou TXT ele pega apenas a primeira coluna de cada linha, então uma planilha com as URLs na coluna B será enviada como uma lista do que estiver na coluna A. Um XLSX se comporta igual com a primeira planilha. O que ele lê é combinado com o que já está na caixa e deduplicado - conveniente depois que você sabe, e surpreendente enquanto não sabe.
Esta é a lista de colunas do próprio serviço, na ordem dele. As descrições dizem para que serve cada coluna; deliberadamente não dizem como são os seus valores.
url como destino.price para obter um desconto. Não podemos dizer com que frequência é preenchido, porque não executamos este serviço.sku, então os dois não são o mesmo número; qual numeração cada um usa, porém, não é algo que esta página vá afirmar sem uma exportação diante dela.model. Útil como chave de cruzamento alternativa; veja a nota sobre model para entender por que nenhum dos dois é descrito com mais precisão aqui.Estas são colunas declaradas, não medidas. Toda outra afirmação desta página vem ou da lista de colunas do próprio serviço, ou da interface da plataforma que você mesmo pode ver; nada vem de uma exportação, porque não temos nenhuma deste serviço. Por isso nada acima informa um tipo, um formato, um vocabulário de valores ou uma taxa de preenchimento - um palpite plausível sobre availability ou price valeria menos para você do que uma lacuna honesta. Duas coisas em que dá para confiar mesmo assim. A própria lista de colunas está fixada em doze e é a base de qualquer download JSON ou Excel, então uma linha de cabeçalho não vai lhe surpreender. E a execução não retornará nada enquanto não houver um proxy residencial pago configurado, de longe o motivo mais comum de este serviço parecer vazio. Faça uma primeira execução pequena, leia sua própria linha de cabeçalho e trate-a como a especificação de tudo o que vier depois.
Todos começam com algo que você digitaria na própria busca da Home Depot.
Cole uma URL de categoria, rode de forma agendada e mantenha price ao lado de original_price. A diferença entre os dois é a promoção, e observá-la em toda uma categoria diz mais do que observar qualquer produto isolado.
Envie suas palavras-chave ou URLs de produto e depois cruze os resultados com seu próprio catálogo por model ou por sku. Duas colunas de identificador significam que uma linha que falha em uma ainda tem uma segunda chance na outra.
Uma execução ampla de categoria sem limite devolve o sortimento como linhas - marcas, faixas de preço, avaliações e contagens de avaliações juntas. É uma pergunta diferente de quanto custa um produto específico, e é a que convém fazer primeiro.
A mesma tarifa fixa de qualquer outro scraper da plataforma. Sem plano, sem licenças, sem mínimo mensal.
Uma vez por conta nova. Sem cartão de crédito. Todos os scrapers liberados - e o suficiente para confirmar que seu proxy está configurado e ler você mesmo a linha de cabeçalho real deste serviço antes de construir qualquer coisa em cima.
Cerca de US$ 2 por 1.000 produtos, a mesma tarifa fixa de qualquer outro scraper daqui. O limite vale por consulta, então uma lista de palavras-chave o multiplica - e deixá-lo vazio traz tudo.
Preço por volume, SLA, workers dedicados e integração sob medida para times que acompanham sortimentos de varejo de forma agendada, em vez de checar um punhado de produtos. Diga-nos seus números e montamos um orçamento.
LIVESCRAPER10 no checkout.Este devolve a linha do produto. Aqueles devolvem o que está por trás, ou a mesma gôndola no concorrente. Cada um tem seu próprio esquema.
O passo seguinte natural: esta página lhe dá produtos e suas contagens de avaliações, aquela lhe dá as avaliações em si. É um serviço separado, num endpoint separado e com sua própria lista de colunas - leia os dois dicionários em vez de supor que se encaixam.
A mesma gôndola no concorrente mais próximo. Rodar uma categoria nos dois é o que faz uma comparação de preços deixar de ser anedótica - embora os dois serviços tenham esquemas próprios, então cruze pelos seus identificadores e não pela posição da coluna.
Um terceiro varejista de material de construção, útil quando uma comparação entre dois continua ambígua. A mesma cautela de antes sobre esquemas: trate a lista de colunas de cada serviço como própria.
Resposta curta: são anúncios públicos de produtos, e nada nas doze colunas descreve uma pessoa.
Tudo o que está nessas colunas é mostrado a qualquer visitante numa página pública de busca ou de produto do homedepot.com. Nenhum login é usado, nenhum paywall é atravessado e nenhuma conta é tocada. Coletar informações de produtos e preços publicadas abertamente para pesquisa e comparação é prática consolidada há muito tempo, e a transparência de preços é um dos casos mais claros a favor dela.
Esta exportação não carrega dados pessoais. Toda coluna descreve um produto - um nome, uma marca, dois preços, uma avaliação e uma contagem, dois identificadores, um link, uma imagem e um estado de disponibilidade. Não há autor de avaliação, nome de vendedor, contato nem e-mail em nenhum ponto da lista declarada, o que não podemos dizer da maioria das páginas deste site. A avaliação é um agregado do que os clientes disseram, e não as falas em si; se você quer as avaliações individuais, esse é o serviço separado linkado acima, e ele traz uma obrigação mais pesada.
A exigência de passar pelo seu próprio proxy residencial pago é uma condição técnica de uso, não jurídica, mas vale ler como um sinal: a Home Depot investe esforço real em controlar o acesso automatizado, e seus termos o regem. Leia-os antes de escalar, mantenha a coleta proporcional à pesquisa que você realmente está fazendo, e não trate preços publicados como licença para republicar um catálogo inteiro. Não rodamos rastreadores de terceiros na camada de dados, e suas exportações se autoexcluem em 30 dias.
As duas devolvem coisas bem diferentes, e rodar ambas é o jeito mais rápido de ver para que esta exportação serve. Suas primeiras 500 linhas são grátis.
O Scraper de Produtos da Home Depot transforma uma busca no homedepot.com em planilha. Você envia palavras-chave ou URLs da Home Depot - uma por linha, misturadas à vontade, com páginas de categoria e de produto aceitas igualmente, ou enviadas como arquivo CSV, XLSX ou TXT -, define um limite por consulta, e cada anúncio volta como uma linha: o nome do produto, sua marca, seu preço e seu preço de tabela, sua avaliação e número de avaliações, um número de modelo e um SKU, um link para a página, uma imagem e um estado de disponibilidade. Doze colunas, uma linha por produto, baixáveis em JSON ou Excel.
Duas coisas moldam o uso disto, e vale conhecer as duas antes de uma primeira execução. A primeira é que o serviço exige seu próprio proxy residencial pago, configurado como PROXY_URL. A Home Depot não deixa passar endereços de proxy gratuitos, e uma execução sem um volta vazia - a plataforma explica o motivo só depois, e é por isso que ele aparece logo no início aqui. A segunda é que esta página documenta a lista de colunas declarada e para aí de propósito. Não temos nenhuma exportação deste serviço, então nada aqui afirma um tipo de dado, um formato de valor, um vocabulário para availability ou com que frequência original_price é preenchida. Várias outras páginas deste site informam formatos medidos, porque havia execuções para ler; esta é honesta ao dizer que não as tem. Faça uma primeira execução pequena e deixe sua própria linha de cabeçalho ser a especificação.
O que a lista de colunas de fato diz já vale bastante. price e original_price chegam como colunas separadas, então um desconto é aritmética e não inferência, e acompanhar o par ao longo de uma categoria no tempo dá o formato de uma promoção em vez de um retrato instantâneo. model e sku são declarados separadamente, o que significa duas chances de cruzar uma linha com seu próprio catálogo ou com o feed de um concorrente - em geral a diferença entre uma taxa de correspondência confiável e outra que descarta linhas em silêncio. E como palavras-chave e URLs dividem a mesma caixa de entrada, um único trabalho pode cobrir ao mesmo tempo uma varredura ampla de categoria e uma lista curta de produtos específicos.
Algumas notas práticas. O limite é 100 por padrão, aceita no mínimo 1 e vale por consulta, e não por execução, então uma lista de palavras-chave o multiplica; deixe-o vazio para levar tudo, lembrando que uma categoria ampla sem limite pode render uma execução longa. O envio de arquivos lê apenas a primeira coluna de um CSV, TXT ou XLSX, e recusa Parquet no navegador, então mantenha suas URLs na coluna A. Não há controle de ordenação nem seletor de loja ou região - ordene a exportação depois de baixá-la. Do ponto de vista legal, esta exportação é incomumente limpa: toda coluna descreve um produto e não uma pessoa, e nenhum autor de avaliação, vendedor, contato ou e-mail aparece na lista declarada. Os termos da Home Depot ainda regem o acesso automatizado, então leia-os antes de escalar. Comece de graça: suas primeiras 500 linhas não custam nada e não pedem cartão, depois US$ 0,002 por linha, no modelo pré-pago. Veja preços para as tarifas atuais.