A Macy's trabalha com centenas de marcas em moda, beleza, casa e joias, e as precifica com um vocabulário todo próprio. Este serviço transforma páginas de produto numa tabela: dezessete colunas por item, com o preço guardado duas vezes - uma exatamente como exibido e outra reduzido a algo com que você possa calcular.
Quase todo erro sério com dados de preço de loja de departamentos vem de ler o número e descartar a palavra ao lado.
A Macy's publica sua própria política de preços, e ela é incomumente explícita. Os preços Regular e Original são descritos como preços de oferta - a mercadoria foi oferecida por aquele preço nas lojas ou no macys.com - e a Macy's afirma claramente que um item pode não ter sido vendido por ele, então uma economia calculada contra esses valores não é prova de que alguém tenha pagado o valor mais alto. Se você monta uma métrica de profundidade de desconto a partir de um número riscado, é isso que está medindo: como a Macy's apresenta um preço, não como um mercado se moveu.
O vocabulário carrega significado além disso. Original, Closeout, Clearance, Now, Permanent Markdown e Just Reduced sinalizam todos uma redução permanente - um item marcado assim não vai voltar ao preço antigo. Everyday Value significa um preço baixo fixo do qual promoções e cupons ficam de fora, o que é um bicho bem diferente de uma liquidação. Dois itens com o mesmo número podem estar contando coisas opostas sobre o que vem a seguir.
É exatamente por isso que a exportação guarda o preço duas vezes. price é a string como exibida, com símbolo de moeda e separadores; parsed_price é o mesmo valor com a formatação removida, para ordenar e somar corretamente. Calcule sobre parsed_price e guarde price, para que a apresentação sobreviva até os seus dados em vez de ser jogada fora no parse.
Você aponta para páginas da Macy's e ele devolve uma tabela. Não há sintaxe de busca para aprender.
A cobrança segue as linhas, então estreite a lista na Macy's antes de exportar, e não depois.
Estas são as colunas que a exportação deste extrator declara, nesta ordem. Cada descrição explica para que serve a coluna. Quais das opcionais um varejista de fato preenche varia - marca, nota, número de avaliações, descrição e disponibilidade estão todas no esquema e nenhuma é garantida em toda página.
url; onde as nossas exportações de varejo devolveram linhas, os dois coincidiram, então trate-os como um valor só até achar uma página em que não coincidam.InStock e OutOfStock são os valores que as nossas exportações de varejo devolveram. Nem todo varejista publica isso, e nesse caso a coluna vem vazia em vez de falsa.; para recuperar a lista.sku_code do varejista. Em alguns varejistas os dois são o mesmo número; em outros são completamente diferentes, então não os trate como intercambiáveis.product_url.images. Conveniente quando você quer uma miniatura por linha e não uma lista.Três destes pares parecem redundantes e só um é. product_url e url coincidiram onde as nossas exportações de varejo devolveram linhas. images e image são uma lista e a primeira entrada dela, o que é conveniência e não duplicata. Mas sku_code e sku são de fato dois identificadores diferentes - o do varejista e o do fabricante - e em varejistas que usam os dois eles não batem. Deduplique pelo número do próprio varejista, não por aquele em que as suas dez primeiras linhas por acaso concordaram.
Dados de loja de departamentos têm um formato particular, e estas quatro propriedades decidem o que a exportação pode sustentar honestamente.
As duas colunas de preço existem porque um preço exibido e um preço numérico são objetos diferentes. price chega do jeito que um comprador vê - símbolo de moeda, separador de milhar - o que é inútil para uma planilha e essencial para quem lê. parsed_price é o mesmo valor sem nada disso, então ordena e tira média corretamente. Guarde os dois. Descartar o formatado no parse é como uma série de preços acaba incapaz de dizer o que estava olhando de fato.
A própria política de preços da Macy's diz que os preços Regular e Original são preços de oferta, e que um item pode não ter sido vendido por eles - então as economias mostradas contra eles podem não se basear em vendas reais daquele item. É o varejista dizendo a você, por escrito, para não ler um número riscado como evidência de mercado. Uma métrica de desconto construída sobre isso mede linguagem de merchandising. Perfeitamente legítimo de acompanhar, desde que rotulado pelo que é.
brand, rating, reviews, description e availability fazem parte deste esquema, e se chegam preenchidas depende do que as próprias páginas publicam. Nas nossas exportações de varejo, um site preencheu brand em todas as linhas e outro em nenhuma, e availability voltou tanto como valor schema.org correto quanto como nada. Faça uma execução pequena antes de desenhar uma tabela em torno da presença de uma coluna.
Todas as imagens do produto chegam num único campo images, com ponto e vírgula e espaço entre as URLs, e image repete a primeira por conveniência. Isso é tranquilo quando você sabe e um transtorno quando não: uma importação ingênua trata tudo como uma URL enorme e cada imagem quebra em silêncio. Divida em ; na entrada. A contagem que você obtém também é um sinal aproximado por si só: um produto com uma fotografia e outro com uma dúzia costumam estar em pontos diferentes de um ciclo de merchandising.
Onde um catálogo de loja de departamentos é mais útil como tabela do que como rolagem infinita.
Uma exportação é uma lista de preços; a mesma exportação repetida é um histórico de preços. Puxe uma categoria numa cadência, case as linhas por sku_code, e a diferença diz o que se moveu, o que foi para liquidação e o que sumiu sem alarde. Como price mantém o texto ao lado do número, você também consegue separar as remarcações reais dos itens que só parecem reduzidos.
Para uma marca que vende pela Macy's, a pergunta interessante não é o preço sugerido, e sim a prateleira: quantas das suas linhas estão listadas, a que preços, com quantas fotografias, e quais estão em liquidação. Agrupe por brand, ordene por parsed_price, e você tem a resposta numa tela - incluindo os produtos que o seu próprio time comercial talvez não saiba que estão com desconto.
Marketplaces, comparadores e catálogos de afiliados precisam todos das mesmas coisas: um título, uma descrição, um preço, uma imagem e um identificador. Esta exportação carrega os cinco, mais o Web ID que liga um anúncio de volta ao sistema da própria Macy's. Divida images, guarde parsed_price para o feed e price para exibir, e a transformação vira algumas linhas em vez de um projeto.
Sem assinatura, sem mínimo, sem licença por usuário. Suas primeiras 500 linhas são por nossa conta - depois, pague conforme o uso.
Para cada conta nova, uma única vez. Sem cartão de crédito. Todos os extratores liberados. Quinhentos produtos são uma fatia substancial de um único departamento, o suficiente para ver o formato dos dados antes de se comprometer com qualquer coisa.
Cerca de US$ 2 por 1.000 produtos. A cobrança segue as linhas, então o jeito mais barato de monitorar uma categoria é estreitá-la na Macy's primeiro e depois repetir a mesma extração estreita - uma exportação semanal das linhas que importam custa uma fração de uma exportação mensal de tudo.
Preços por volume, SLAs, workers dedicados e onboarding sob medida para times que acompanham catálogos grandes em muitos varejistas de forma recorrente. Diga-nos seus números e faremos um orçamento.
LIVESCRAPER10 no checkout.O mesmo item costuma estar listado em vários lugares a vários preços, e um catálogo sozinho não diz qual deles é o ponto fora da curva. Estes dois usam o mesmo formato de exportação.
Os mesmos campos de produto do catálogo em que a maioria das comparações de preço se ancora - útil no momento em que você precisa saber se um preço da Macy's é competitivo.
Moda de um varejista puramente online com um ritmo de remarcação bem diferente - um controle útil quando você tenta separar uma tendência de categoria do calendário promocional de uma única loja.
Resposta curta: sim. Uma página de produto é um anúncio, publicado para que o maior número possível de pessoas o leia.
As páginas de produto da Macy's são públicas. Qualquer um pode lê-las sem conta, e coletar informações públicas de produtos para pesquisa e comparação de preços é prática estabelecida há muito tempo. Desde que os dados estejam disponíveis publicamente e o processo não perturbe o site, não há leis federais que o proíbam.
O assunto aqui é tão pouco controverso quanto coleta de dados pode ser. Cada uma dessas dezessete colunas descreve um item à venda - o nome, o preço, as fotos, os identificadores. Não há dados pessoais em lugar nenhum da exportação: nenhum cliente, ninguém que avalia, nem mesmo o texto de uma avaliação. Nada no arquivo identifica uma pessoa.
Os termos da Macy's restringem o acesso automatizado, então isto continua sendo uma questão de termos. Não tocamos em nada atrás de um login, não fazemos pedidos, não rodamos rastreadores de terceiros na camada de dados, e suas exportações se apagam sozinhas depois de 30 dias.
As perguntas que mais ouvimos. Mais alguma coisa? Fale conosco - quem escreve as respostas são humanos, não bots.
query, sku_code, product_url, name, description, parsed_price, price, currency, availability, rating, reviews, images, brand, sku, url, image e status. Uma linha por produto. É o formato compartilhado que os nossos endpoints de produto de varejo usam, então uma exportação da Macy's se alinha coluna a coluna com as outras.price é a string como exibida, com o símbolo de moeda e os separadores de milhar. parsed_price é o mesmo valor com essa formatação removida, para ordenar e somar corretamente. Calcule sobre parsed_price e guarde price - na Macy's especialmente, como um número é apresentado carrega significado que o número puro não tem.sku_code é o número de item do próprio varejista - na Macy's, o espaço do Web ID, o número de referência impresso nas etiquetas na loja e no catálogo que traz um item na busca do site. sku é o identificador do fabricante, um número de modelo ou peça. Em alguns varejistas os dois carregam o mesmo valor e em outros são completamente diferentes, então escolha um de propósito como chave em vez de supor que concordam.; e você tem a lista. image já guarda a primeira delas se tudo o que você precisa é uma miniatura por linha.brand, rating, reviews, description e availability dependem do que as próprias páginas publicam - nas nossas exportações de varejo, um site preencheu brand em todas as linhas e outro em nenhuma. Rode uma amostra pequena primeiro e veja quais colunas chegam preenchidas antes de desenhar em torno de uma.sku_code é a coluna em que ele volta. Para enviar trabalho, URLs de produto são a entrada inequívoca - uma URL sempre resolve exatamente uma página. Note também que nem todo item numa loja ou no catálogo da Macy's tem Web ID, porque nem tudo o que a Macy's vende é vendido on-line.Cole os produtos, escolha o formato e leve o catálogo como linhas - nome, descrição, os dois preços, marca, imagens e os identificadores que amarram tudo. Suas primeiras 500 linhas são grátis.
A Macy's é uma das maiores redes de lojas de departamentos dos Estados Unidos, com centenas de marcas em moda, beleza, casa e joias, e o site dela é o catálogo pelo qual a maioria dessas marcas é julgada. Navegar funciona bem para uma compra e mal para qualquer pergunta sobre o sortimento: como uma marca está precificada ao longo das suas linhas, que fração de uma categoria está em liquidação nesta semana, quais itens ganharam ou perderam fotografias, o que mudou desde a última vez que você olhou. O Macys Products Scraper responde a isso transformando páginas de produto numa tabela: dezessete colunas por item, exportadas em CSV, JSON ou Excel, no mesmo formato dos nossos outros endpoints de produto de varejo, para que uma comparação entre vários varejistas se alinhe coluna a coluna.
A decisão de projeto que vale entender antes de usar é que o preço é guardado duas vezes. Preços de varejo são exibidos para pessoas, com símbolo de moeda e separadores de milhar, e essa string é inútil para uma planilha - mas removê-la é destrutivo, porque na Macy's a apresentação carrega significado. Então a exportação guarda os dois: parsed_price com a formatação removida, para ordenação e aritmética, e price exatamente como exibido, para todo o resto. O mesmo princípio explica o par de colunas de imagem, em que images guarda todas as fotografias unidas numa única string separada por ponto e vírgula e image repete a primeira por conveniência, e o par de colunas de identificador, em que sku_code é o número do próprio varejista e sku é o do fabricante - esses dois são valores genuinamente diferentes em varejistas que usam ambos, e escolher o errado como chave produz duplicatas que parecem produtos novos.
O vocabulário de preços da Macy's merece cuidado particular, e é a própria Macy's que fornece o motivo. A política publicada descreve os preços Regular e Original como preços de oferta - a mercadoria foi oferecida por aquele preço - e diz que um item pode não ter sido vendido por eles, então as economias mostradas contra eles podem não se basear em vendas reais. A mesma política distingue um conjunto de termos que sinalizam redução permanente, incluindo Original, Closeout, Clearance, Now, Permanent Markdown e Just Reduced, de Everyday Value, que é um preço baixo fixo do qual promoções e cupons ficam de fora. Dois produtos mostrando o mesmo número podem, portanto, estar em trajetórias opostas. Uma métrica de desconto calculada a partir de um número riscado mede linguagem de merchandising e não movimento de mercado, o que é perfeitamente válido de acompanhar desde que rotulado com honestidade.
Uma nota honesta sobre a evidência por trás desta página. Cada afirmação acima é ou o esquema declarado da exportação - os dezessete nomes de coluna, idênticos nas nossas duas execuções - ou uma propriedade documentada da própria Macy's, tirada da sua política de preços e da sua convenção de Web ID. Não há resultados de coleta da Macy's aqui, porque não temos nenhum: as duas execuções foram feitas contra uma URL de espaço reservado em vez de uma página real da Macy's e devolveram apenas um 404, e o serviço está registrado internamente como necessitando de um proxy residencial. A semântica das colunas descrita acima foi estabelecida a partir de endpoints de varejo irmãos com o esquema idêntico que devolveram linhas preenchidas, e é por isso que a página consegue dizer para que serve uma coluna sem afirmar o que a Macy's colocou nela. Nenhuma contagem de produtos, preço, nota ou número de estoque aparece nesta página, e nenhum será acrescentado sem que uma exportação real da Macy's o sustente. Comece grátis: suas primeiras 500 linhas não custam nada e não precisam de cartão.