当社の実行はメンズ手袋のコレクションページを1件だけ送り、66行を受け取りました。すべて ok で、10件の異なる商品にまたがり、1商品あたり4行から12行です。このサービスについて提供元が公開しているテスト例が、まさに同じコレクションのアドレスです。つまりこの展開は、当社の頼み方の副作用ではなく、想定された使い方です。
データの持ち方が変わるのはここです。各行は1つのサイズと色で、固有の sku、固有の availability、そして接尾辞を含む name を持ちます。… Steel Blue / XS のような形です。当社の12行は1つの product_url を共有していました。商品単位が欲しければ product_url でまとめ、サイズ別の売れ方が欲しければ行のまま残してください。
66行のうち39行が InStock、27行が OutOfStock で返りました。名目上は購入できる商品についてです。商品単位のスクレイパーなら、この10商品はすべて在庫ありと報告するでしょう。ここでは、ある色が L では欠品で M では欠品でないと分かります。それが、在庫の報告と、行動に移せる在庫の報告との違いです。
どちらの列も、当社の69行すべてで空です。理由を確かめました。それらの商品ページを1件取得すると、商品と全バリエーションを記述した構造化データの塊が返りますが、そこには評価もレビュー件数もまったく含まれていません。列が空なのは実行が失敗したからではなく、ページがその数値を公開していないからです。レビューを前提とした作業をこのサービスの上に組まないでください。
当社の66行が持っていたブランドの値は4つ - Forclaz が40行、Wedze が14行、Quechua が6行、Kiprun が6行。いずれも Decathlon の自社ブランドなので、ブランドの列は、他所で調べられるメーカーを特定するのではなく、1つのカタログをまとめる働きをします。小売店をまたいだ突き合わせが目的なら情報源として不適切です。自社ブランドの品揃え調査が目的なら良い情報源です。
同じアドレスに対する2回目の実行は、ページそのものを記述する1行を返しました。名前は「Men's Gloves」、画像は Decathlon のロゴ、sku も product_url もありません。price が通貨記号を持つ唯一の行でもあります。集計の前に sku があることで絞り込めば、この行はきれいに外れます。
実際のエクスポートから、シートの順に読み取っています。以下の件数は66行のコレクション実行によるもので、ここで列に値が入っていたと書いてあるものは、実際に手元にある行の話です。
sku と同一で、2つの列が別々の番号体系を持つ当社の卸売系ページとは異なります。$49.99 が入っていました。文字列から推測せず currency を読んでください。USD でした。決めつけずに読んでください。Decathlon は国ごとの店舗を運営しており、答えが常に同じとは限らないからこそ、この列があります。InStock か OutOfStock か、バリエーション単位で。当社の実行では39対27でした。1回きりではなく定期的に実行する価値を生んでいるのがこの列です。rating と同じ注意が当てはまります。sku_code と同じ値です。両者がしばしば異なる当社の複数のカタログ系サービスに対して1つの取り込み処理を書くなら両方残してください。ここではどちらでもかまいません。product_url と一致します。行は、出てきたコレクションではなく自分自身の商品ページを指しています。images の最初の1件です。ok、2行が http 404 で、後者は存在しない仮のアドレスによるものです。行数ではなくこの列で突き合わせてください。バリエーションの展開があると、行数だけでは意味を持ちません。1行あたり17列 · 3つのファイル形式
取り込み処理を設計するうえで軸になるのは、1行がバリエーションだということです。当社の実行では、コレクションのアドレス1件が10商品にわたる66行を生み、1商品あたり4行から12行、サイズと色は name の接尾辞に入り、在庫は行ごとに決まっていました。だからこそ availability に価値があります。その66行のうち39行が在庫あり、27行がなしで、しかも商品単位のスクレイパーなら購入可能と報告したはずの商品です。2つの列は、推測ではなく確認した理由で空です。商品ページを1件取得すると、商品を記述し、すべてのバリエーションを価格・通貨・在庫とともに列挙した構造化データの塊が返りますが、そこには評価もレビュー件数もどこにもありません。rating と reviews が空なのは、情報源がそれを公開していないからです。
在庫はバリエーション単位で届くので、毎週実行すれば、ある色が M と L で消え、XS は棚に残っていることが分かります。それが1つの商品の中の需要の形であり、商品ページごとに在庫を1つだけ報告するスクレイパーには見えません。
当社の実行全体を4つのブランドが覆っていました。Forclaz、Wedze、Quechua、Kiprun です。brand と product_url でまとめれば、コレクションを数件送るだけで自社ブランドの構成が見えます。商品が何件で、各商品にバリエーションが何件あり、価格帯はどうか。
parsed_price は数値のみで、currency がその単位を教えてくれるので、コレクションを定期実行すれば、文字列の整形なしにきれいな価格系列が得られます。当社の実行では10商品にわたって7種類の価格がありました。
images は1行あたり最大25件のアドレスを持ち、image はその先頭であることが確認済みです。よくある用途なら文字列を分割せずに、主画像とギャラリーを備えたフィードを組めます。説明文は1つの商品のバリエーション間で繰り返されますが、フィードではまさにそれが望ましい形です。
LIVESCRAPER10 をご利用ください。公開された商品ページ上の価格、サイズ、在庫は、ありふれた商取引上の事実です。ここで挙げるべき注意点は、量と、このデータが何に向き何に向かないかです。
価格、商品名、サイズ、在庫の有無は、販売されている商品についての事実です。誰にでも配信されるページからそれを読むのは、買い物客が手作業でしていることを、役に立つ速さで行うのと同じです。17列のどれも人物を記述しません。氏名も、メールアドレスも、電話番号も、アカウントもありません。ですから、人に関わるサービスを形づくるデータ保護の問題は、ここでは生じません。
このサイトに固有なのは量です。すべてのバリエーションまで展開するコレクションのアドレスは、商品1件の取得よりもリクエストあたりの仕事が多く、行数もはるかに多くなります。コレクションページ1件で66行でした。当社は控えめな速度で動き、失敗があれば延々と再試行するのではなくステータスの列に出します。コレクションのアドレスを無料の近道と考えるのではなく、この掛け算を頭に入れて予定を組んでください。念のため申し添えると、このサイトに対する当社の実行はいずれもブロックされていません。エクスポート中の ok でない2行は、存在しない仮のアドレスによる 404 であり、提供元のカタログもこのサービスについて阻害要因を記録していません。
当社の条件は、ここにある他のサービスと同じです。一般に公開されているページのみ、ログインの先には入らず、データ層に第三者のトラッカーは置かず、エクスポートは30日後に自動削除されます。最初の500行は無料で、クレジットカードは不要です。
ok で、すべて同じ query を共有しています。このサービスについて提供元が公開しているテスト例が、まさに同じコレクションのアドレスです。sku、固有の availability、そして - Steel Blue / XS のような末尾を持つ name を備えます。当社の実行では1商品が12行を生みました。商品ごとに1行が欲しければ product_url でまとめてください。InStock、27行が OutOfStock で返りました。しかも商品単位のスクレイパーなら購入可能と呼んだはずの10商品についてです。商品が存在すると知ることと、L サイズで買えると知ることの違いです。parsed_price は数値のみで、商品行では price も同じ金額を記号なしで持ちます。currency は当社の実行の商品行すべてで USD でした。記号を持っていた唯一の行は商品ではなく、コレクションページそのものです。sku も product_url もありません。集計の前に sku があることで絞り込めば外れます。CSV、JSON、Excel の3形式です。17列とその順序は、どの形式でも同じです。Decathlon はおもに自社ブランドを販売するスポーツ用品の小売店で、このページのサービスは、そのコレクションページと商品ページを、当社の他のカタログ系スクレイパーと同じ17列の表に読み込みます。それらと違うのは展開の深さです。当社の実行はメンズ手袋のコレクションのアドレスを1件だけ送り、66行を受け取りました。いずれも成功で、10件の異なる商品ページにまたがり、1商品あたり4行から12行です。このサービスについて提供元が公開しているテスト例が、まさに同じコレクションのアドレスです。つまりこれは、当社の頼み方の偶然ではなく、想定された使い方です。
行はバリエーションであって、商品ではありません。それぞれが特定の色の特定のサイズで、sku に自分の品番、availability に自分の在庫状況を持ち、name は Steel Blue / XS のようにバリエーションで終わります。商品単位のスクレイパーではなくこれを実行する理由は、まさにそこにあります。66行のうち39行が在庫あり、27行がなしで、しかもページ単位の確認なら購入可能と報告したはずの10商品についてです。ある色が M と L で消え、XS が手つかずで残っていると知ることは、その商品が存在すると知ることとは別の事実であり、再入荷の通知やサイズ別の報告を支えるのはそちらです。商品単位で戻したいときは product_url でまとめ、細かさが要るときは行のまま残してください。
2つの列はすべての行で空のまま届きますが、その理由は推測ではなく確認しました。商品ページを1件取得すると大きな文書が返り、その中の構造化データの塊が商品を記述し、すべてのバリエーションを価格・通貨・在庫状況とともに列挙しています。そして平均評価もレビュー件数もどこにも含まれていません。ですから rating と reviews が空なのは情報源がそれを公開していないからであり、何度実行し直しても変わりません。同じ取得はエクスポートの他の部分も裏づけました。ページに列挙されたバリエーションの数は、当社の実行がその商品について生んだ行数と正確に一致し、品番は両方に現れ、ブランドも一致しました。価格は parsed_price に数値のみで届き、隣に currency があります。Decathlon は国ごとの店舗を運営しているので、決めつけずに通貨を読んでください。
ブランドの列には注意点が1つあります。当社の実行が返した値は4つ - Forclaz、Wedze、Quechua、Kiprun - で、いずれも Decathlon の自社ブランドです。そのため、自社ブランドの品揃えを把握する情報源としては優れており、商品を他の小売店と突き合わせる情報源としては貧弱です。突き合わせる第三者のメーカーが存在しないからです。それ以外では量を見込んでください。バリエーションのぶん増え、コレクションのアドレス1件は1行ではなく66行ぶんの費用になり、課金は返された行数に従います。このサイトに対する当社の実行はいずれもブロックされていません。エクスポート中の ok でない行は、存在しない仮のアドレスによる 404 だけであり、提供元のカタログもこのサービスについて阻害要因を記録していません。一般に公開されているページのみ、データ層に第三者のトラッカーは置かず、エクスポートは30日後に自動削除され、最初の500行は無料でクレジットカードは不要です。