デパートの価格データで起きる深刻な誤りのほとんどは、数字だけを読んでその隣の言葉を捨てることから生まれます。
Macy'sは自社の価格ポリシーを公開しており、その記述は異例なほど明快です。Regular と Original は提示価格として説明されています--その商品は店舗またはmacys.comでその価格で提示された--そしてMacy'sは、その価格で実際に売れたとは限らないとはっきり述べています。つまり、そこから計算した値引き額は、誰かが高いほうの金額を支払った証拠にはなりません。取り消し線の入った数字から値引きの深さを測る指標を組み立てるなら、測っているのはそれです。市場がどう動いたかではなく、Macy'sが価格をどう見せているかです。
語彙はそれ以上の意味も運びます。Original、Closeout、Clearance、Now、Permanent Markdown、Just Reduced はいずれも恒久的な値下げを示します--そう表示された商品が元の価格に戻ることはありません。Everyday Value は、プロモーションやクーポンの対象外となる常時低価格を意味し、セールとはまったく別物です。同じ数字を掲げた2つの商品が、この先に起きることについて正反対のことを告げている場合があるのです。
だからこそ、このエクスポートは価格を2度保持します。price は表示されたままの文字列で、通貨記号も区切り記号もそのまま。parsed_price は同じ金額から書式を取り除いたもので、正しく並べ替えたり合計したりできます。計算は parsed_price で行い、price は残してください。解析の段階で捨ててしまうのではなく、見せ方をデータまで持ち込むためです。
Macy'sのページを指定すれば、表が返ってきます。覚えるべき検索構文はありません。
料金は行単位なので、書き出したあとではなく、書き出す前にMacy's側でリストを絞り込んでください。
このスクレイパーのエクスポートが宣言している列を、この順に並べたものです。各説明は、その列が何のためにあるのかを述べています。任意の列のうちどれが実際に埋まるかは小売店によって異なります--ブランド、評価、レビュー件数、説明、在庫状況はいずれもスキーマにありますが、どのページでも必ず埋まっているとは限りません。
url と並べて持ちます。当社の小売エクスポートで行が返ってきた範囲では両者は一致していたので、一致しないページが見つかるまでは1つの値として扱ってください。InStock と OutOfStock が当社の小売エクスポートで返ってきた値です。すべての小売店が公開しているわけではなく、その場合この列は偽ではなく空になります。; で分割すればリストに戻せます。sku_code とは別のものです。両者が同じ番号になる小売店もあれば、まったく異なる小売店もあるので、互換のものとして扱わないでください。product_url と並んで入ります。images の最初のエントリです。1行につきサムネイル1枚だけが欲しいときに便利です。この3組は冗長に見えますが、本当に冗長なのは1組だけです。 product_url と url は、当社の小売エクスポートで行が返ってきた範囲ではどこでも一致していました。images と image はリストとその最初のエントリであり、重複ではなく利便性です。しかし sku_code と sku は本当に別々の識別子--小売店の番号とメーカーの番号--であり、両方を使う小売店では一致しません。最初の10行がたまたま一致したほうではなく、小売店自身の番号で重複を排除してください。
デパートのデータには独特の形があり、この4つの性質が、このエクスポートで正直に何を支えられるかを決めます。
価格の列が2つあるのは、表示価格と数値としての価格が別のものだからです。price は買い物客が見るとおりに届きます--通貨記号、桁区切りつき--これは表計算にとっては役に立たず、読み手にとっては不可欠です。parsed_price はそれらをすべて取り除いた同じ金額なので、正しく並べ替えられ、平均も取れます。両方を残してください。解析時に書式つきのほうを捨てることこそ、価格の時系列が「結局何を見ていたのか」を語れなくなる原因です。
Macy's自身の価格ポリシーは、RegularとOriginalが提示価格であり、その価格で商品が売れたとは限らないと述べています--つまり、そこから示される値引き額はその商品の実際の販売に基づいていない可能性がある、ということです。取り消し線の数字を市場の証拠として読むな、と小売店自身が文書で告げているわけです。それを土台にした値引き指標が測っているのは、マーチャンダイジングの言葉づかいです。追跡すること自体はまったく正当です。それが何であるかを明記しさえすれば。
brand、rating、reviews、description、availability はいずれもこのスキーマの一部であり、埋まって届くかどうかはページ自体が何を公開しているかによります。当社の小売エクスポートを見渡すと、あるサイトは brand をすべての行で埋めた一方、別のサイトは1行も埋めませんでしたし、availability は正しいschema.orgの値として返ってきたこともあれば、まったく返ってこなかったこともあります。ある列が存在する前提で表を設計する前に、小さく試してください。
商品画像はすべて1つの images フィールドに、URLの間をセミコロンと空白で区切って届きます。そして image が便宜的にその最初の1つを繰り返します。知っていれば問題なく、知らなければ厄介です--素朴な取り込みは全体を1つの非常に長いURLとして扱い、画像が黙ってすべて壊れます。取り込み時に ; で分割してください。返ってくる枚数自体も大まかな手がかりになります。写真が1枚の商品と12枚の商品は、たいていマーチャンダイジング上の別の段階にいます。
デパートのカタログが、無限スクロールよりも表として役立つ場面。
1回のエクスポートは価格表です。同じエクスポートを繰り返せば価格の履歴になります。カテゴリを一定の間隔で取得し、sku_code で行を突き合わせれば、その差分が、何が動き、何がクリアランスに回り、何が静かに消えたかを教えてくれます。price が数字の隣の表記も保持しているので、本当の値下げと、値下げに見えるだけの商品とを分けることもできます。
Macy'sを通じて販売するブランドにとって、興味深い問いは推奨小売価格ではなく棚のほうです。自社のラインが何点掲載され、いくらで、写真は何枚で、どれがクリアランスに沈んでいるのか。brand でグループ化し、parsed_price で並べ替えれば、答えは1画面に収まります--自社の営業チームですら値下げに気づいていないかもしれない商品も含めて。
マーケットプレイスも比較サイトもアフィリエイトのカタログも、必要とするものは同じです。タイトル、説明、価格、画像、そして識別子。このエクスポートはその5つすべてを、さらに掲載をMacy's自身のシステムに結びつけるWeb IDまで運びます。images を分割し、フィードには parsed_price、表示には price を使えば、変換はプロジェクトではなく数行で済みます。
サブスクリプションなし、最低利用額なし、席数ライセンスなし。最初の500行は当社負担、その後は従量課金です。
新規アカウントごとに1回限り。クレジットカード不要。すべてのスクレイパーが利用できます。500商品は1つの売場のかなりの部分にあたり、何かを決める前にデータの形を把握するには十分です。
商品1,000点でおよそ2ドル。料金は行単位なので、カテゴリを監視する最も安い方法は、先にMacy's側で絞り込み、その絞り込んだ取得を繰り返すことです--関心のあるラインを週次で書き出すほうが、すべてを月次で書き出すよりはるかに安く済みます。
多数の小売店にまたがる大規模カタログを繰り返し追うチーム向けに、ボリューム料金、SLA、専用ワーカー、個別のオンボーディングをご用意しています。数量をお知らせいただければお見積もりします。
LIVESCRAPER10 をご利用ください。同じ商品はたいてい複数の場所に複数の価格で並んでおり、1つのカタログだけでは、そのうちどれが外れ値なのかはわかりません。この2つは同じエクスポート形式を使います。
短い答えはイエスです。商品ページは広告であり、できるだけ多くの人に読んでもらうために公開されています。
Macy'sの商品ページは公開されています。アカウントなしで誰でも読むことができ、公に見える商品情報を調査や価格比較のために収集することは長く確立された慣行です。データが公開されており、その処理がサイトの動作を妨げない限り、これを禁じる連邦法はありません。
扱う対象も、データ収集としては極めて穏当な部類です。この17列はどれも販売中の商品を表しています--商品名、価格、写真、識別子。エクスポートのどこにも個人データはありません。顧客も、レビュー投稿者も、レビュー本文さえもありません。ファイルの中に個人を特定するものは何もありません。
Macy'sの利用規約は自動化されたアクセスを制限しているため、これは依然として規約上の問題です。当社はログインの先にあるものには一切触れず、注文も行わず、データ層でサードパーティのトラッカーを動かすこともなく、エクスポートは30日後に自動削除されます。
最も多くいただく質問です。ほかにご不明な点があればお問い合わせください。回答を書いているのはボットではなく人間です。
query、sku_code、product_url、name、description、parsed_price、price、currency、availability、rating、reviews、images、brand、sku、url、image、status。商品1件につき1行です。当社の小売系プロダクトエンドポイントが共通で使う形なので、Macy'sのエクスポートは他と列単位でそろいます。price は表示されたままの文字列で、通貨記号も桁区切りもそのまま入っています。parsed_price はその書式を取り除いた同じ金額で、正しく並べ替えたり合計したりできます。計算は parsed_price で行い、price は残してください。とくにMacy'sでは、数字の見せ方が、裸の数字にはない意味を運んでいます。sku_code は小売店自身の品番です。Macy'sではWeb IDの入る場所で、店頭のタグやカタログに印字され、サイトの検索でその商品を呼び出せる参照番号です。sku はメーカーの識別子で、型番や部品番号にあたります。両者が同じ値になる小売店もあれば、まったく異なる小売店もあるので、一致すると決めてかからず、どちらをキーにするか意識して選んでください。; で分割すればリストになります。1行につきサムネイル1枚だけでよければ、image にすでにその最初の1つが入っています。brand、rating、reviews、description、availability は、ページ自体が何を公開しているかに左右されます--当社の小売エクスポートでは、あるサイトが brand をすべての行で埋め、別のサイトは1行も埋めませんでした。ある列を前提に設計する前に、まず小さく試し、どの列が埋まって届くかを確かめてください。sku_code です。ただし依頼を送る際は、商品URLのほうが曖昧さのない入力です。URLは必ず1つのページに解決します。なお、Macy'sの店舗やカタログにある商品のすべてにWeb IDがあるわけではありません。Macy'sが売るものすべてがオンラインで売られているわけではないからです。Macy'sは米国最大級のデパートチェーンで、アパレル、ビューティー、ホーム、ジュエリーにわたって数百のブランドを扱っており、そのウェブサイトは、それらブランドの多くが評価される場としてのカタログです。閲覧して回るのは1回の買い物にはよく機能し、品揃えについての問いにはうまく機能しません。あるブランドが自社のライン全体でどう値付けされているか、あるカテゴリの何割が今週クリアランスに入っているか、どの商品が写真を増やし、あるいは減らしたか、前回見たときから何が動いたか。Macysプロダクトスクレイパーは、商品ページを表に変えることでそれに答えます。1商品につき17列、CSV・JSON・Excelで書き出せ、当社の他の小売系プロダクトエンドポイントと同じ形をしているので、複数の小売店をまたぐ比較が列単位でそろいます。
使う前に理解しておく価値のある設計上の判断は、価格が2度保存されているという点です。小売価格は人に向けて、通貨記号と桁区切りつきで表示されます。その文字列は表計算にとっては役に立ちませんが、取り除くのは破壊的です。Macy'sでは見せ方そのものが意味を運んでいるからです。そこでエクスポートは両方を保持します。並べ替えと計算のために書式を除いたparsed_priceと、それ以外のすべてのために表示どおりのprice。同じ原則が画像列の対にも当てはまり、imagesがすべての写真をセミコロン区切りの1つの文字列にまとめ、imageが便宜的にその最初を繰り返します。識別子の対も同じで、sku_codeが小売店自身の番号、skuがメーカーの番号です。この2つは両方を使う小売店では本当に別の値であり、キーとして誤ったほうを選ぶと、新商品のように見える重複が生まれます。
Macy'sの価格語彙にはとりわけ注意が必要で、その理由はMacy's自身が示しています。公開されているポリシーは、RegularとOriginalの価格を提示価格--その商品はその価格で提示された--と説明し、その価格で売れたとは限らないため、そこから示される値引き額は実際の販売に基づいていない可能性があると述べています。同じポリシーは、恒久的な値下げを示す一連の語--Original、Closeout、Clearance、Now、Permanent Markdown、Just Reduced--を、プロモーションやクーポンの対象外となる常時低価格であるEveryday Valueと区別しています。したがって同じ数字を掲げた2つの商品が、正反対の軌道にいることがあり得ます。取り消し線の数字から計算した値引き指標が測っているのは市場の動きではなくマーチャンダイジングの言葉づかいであり、正直に名前を付けさえすれば、追跡すること自体はまったく問題ありません。
このページの根拠について、正直な注記を1つ。上記の主張はすべて、エクスポートが宣言しているスキーマ--2回の実行で同一だった17の列名--か、Macy's自身の価格ポリシーとWeb IDの慣行から取った、Macy'sについて文書化された性質のいずれかです。ここにMacy'sのスクレイピング結果はありません。私たちが持っていないからです。2回の実行はいずれも実際のMacy'sのページではなくプレースホルダーのURLに対して行われ、404しか返しませんでした。そしてこのサービスは社内でレジデンシャルプロキシが必要なものとして記録されています。上で述べた列の意味は、同一のスキーマを持ち実際に中身のある行を返した兄弟の小売エンドポイントから確かめたものです。だからこのページは、Macy'sがそこに何を入れたかを主張することなく、その列が何のためにあるのかを述べられます。商品点数も、価格も、評価も、在庫数も、このページのどこにも現れませんし、実際のMacy'sのエクスポートが裏づけない限り追加されることもありません。無料で始めてください。最初の500行に費用はかからず、クレジットカードも不要です。