リンクの一覧と上限、それにこの小売業者だけが必要とし、同じ系列の多くは必要としない設定がひとつ。
上限はクエリごとです。カテゴリーURLが5件で上限が200なら、合計200件ではなく、それぞれから200件ずつになります。
1行には単独の商品ページでも、カテゴリや検索のurlでも指定できます。カテゴリはその中の商品に展開され、1件1行で返ります。一覧ページが、価格で並べ替えたりブランドでまとめたりできるものに変わるのはこのためです。
Lowesは、このパイプライン上でご自身のレジデンシャル経路を必要とする4社のうちの1社です - 他はGrainger、Zalando、Fastenalです。空のファイルで気づかれるより、最初の実行の前に知っていただくほうがよいと考えます。
sku、mpn、gtin は名称の中に埋もれず独立した列として届き、currency は price の中ではなく隣に並びます。ページがそれらの項目を宣言している限り、Lowes以外のカタログとエクスポートを突き合わせられるのはそのためです。
率直に述べておく価値があります。下のデータ辞書をどう読むべきかが変わるからです。
15の列名は確かです。二重に確認されています - このサービスについて公開されている列の配列と、その背後にある共通パイプラインから当社が保有するすべてのブックのヘッダー行によって。中身のあるブックでも空のブックでも同一です。これらの名前を軸に、安心してスキーマを組んでください。
できないのは、Lowesがそこに何を入れるかをお伝えすることです。Lowesに対して実行したことが一度もないからです。当社が保有するエクスポートのうち、Lowesの実行は一つもありません。ほとんどはヘッダーだけで行がなく、唯一中身のあるものはまったく別の小売業者のものです。それを取り繕うより、このページは例示値も形式も載せません - Lowesの実行がないまま書けば、それは創作になります。
プロキシの要件は、気づくより先に織り込んでおくものです。ツールはこのパイプライン上でご自身のレジデンシャル経路を必要とする小売業者を4社挙げており、Lowesはその1社です。理由として挙げられているのは、そうした小売業者がデータセンターのアドレスを遮断しているか、商品をクライアント側で描画しているか、です。そのどちらがここに当てはまるかは書かれていないので、当社も断定しません - 実務上はいずれにせよ同じです。プロキシを設定しないまま実行すれば、結果は乏しいか空だと考えてください。
名称は正確で、二重に確認されています。説明は各列が何のためのものかを述べます - 何が入るかではありません。それは当社ではなく小売業者が決めることであり、その理由は下の注記にあります。
gtin とあわせて、Lowes以外のカタログとエクスポートを突き合わせられるようにするのがこの列です。このページの根拠について2つ。1つ目は仕組みです：商品はページが自身について公開する JSON-LD - 小売業者が検索エンジン向けに埋め込む構造化データ - から読み取られます。これは、このページが超えたふりをしない上限を定めます。service より後のどの列も、Lowesがその項目を宣言している場合にのみ存在するので、空欄は未公開を意味し、実行の失敗ではありません。2つ目は欠落です：Lowesに対して実行したことが一度もありません。このサービスの背後にある共通パイプラインから45件のエクスポートを保有していますが、Lowesの実行は一つもなく、44件は空で、唯一中身のあるものは別の小売業者のものです。そのエクスポートは、Lowesについてではなくツールについての正直なデータ点として1つ分の価値があります：query と service はすべての行で埋まっていました。スクレイパー自身が書き込むからです。そして15列のうち6列が、1行残らず空でした。ここでも欠落を想定し、別の小売業者は別の構造化データを公開するので位置は変わると想定し、無料枠での最初の実行に教えてもらってください。そしてまずレジデンシャルプロキシを設定してください：この小売業者では、空のファイルはマークアップよりプロキシを意味している可能性のほうが高いのです。
urlの一覧と上限、それにこの小売業者が必要とするレジデンシャルプロキシ。並べ替えも絞り込みもなく、ほかに設定するものはありません。
このスクレイパーは、製品ページが自身について公開する構造化データ - 検索エンジンが価格や在庫状況を表示できるよう小売業者が埋め込むJSON-LDブロック - を読み取ります。列の顔ぶれがこうなっているのはそのためです。sku、mpn、gtin、brand、availability、currency は製品を記述するための標準語彙であり、当社が考案した名前ではありません。
実務上の帰結は、計画に織り込むべきものです。列の良し悪しは、小売業者自身のマークアップ次第です。 ページの構造化データにその項目がなければ空で返り、何度実行し直しても変わりません - 失敗ではなく、不在です。この共有ツールについて当社が保有する唯一のデータ入りエクスポートでは、15列のうち6列がすべての行で空でした。
マークアップが持っていないものが必要なら、それは別の仕事です - ユニバーサルAIスクレイパー はページそのものを読み、検索エンジン向けに宣言されたものだけでなく、あなたが指定した属性を返します。
アップロードしたファイルは入力欄を空にしません - 行はすでに入力済みの内容に追加され、重複は取り除かれません。同じファイルを2回アップロードすれば、それらのURLは本当に2回取得され、2回課金されます。これはこのパイプライン固有の挙動です：当社の他のスクレイパーにはアップロード時に重複を除くものもありますが、これは除きません。習慣を持ち込まないでください。
CSVやTXTでは行全体が一つのURLとして扱われるため、余分な列があるスプレッドシートはここでは向きません。列単位で読まれるのはXLSXだけで、そこではA列を取ります。
ファイル選択にはCSV、XLSX、TXTと並んでParquetも表示されますが、ブラウザ内では実際には読み取れず、その旨が表示されます - 他の3つのいずれかをお使いください。
住宅リフォーム関連のカタログが表になったとき、何ができるのか、いくつか例を。
カテゴリページを渡せば、そこにあるすべての商品が行として返り、名称の隣にブランドと識別子の列が並びます。一覧ページを、サイトが用意した以外の基準で並べ替えられること - それがまさに狙いです。
service が各行に刻まれるので、1つの表にLowesとこのパイプライン上の他の小売業者を同居させても、きれいに分けられます。mpn や gtin が宣言されているところでは、同じ商品を仕入先をまたいで突き合わせられます。
同じカテゴリURLを定期的に回せば、比較可能なファイルが2つ手に入ります。何が現れ、何が消え、何が変わったかは、午後いっぱいのクリック作業ではなく差分になります - そして公開されている場合は sku が差分の鍵です。
サブスクリプションなし、最低額なし、継続請求なし。最初の500行は当社負担で、その後は従量課金 - ここにある他のどのスクレイパーとも同じ均一料金です。
新規アカウントごとに1回限り。クレジットカードは不要です。クエリごとの上限、ファイルアップロード、すべてのエクスポート形式が含まれます。なお、この小売業者に必要なレジデンシャルプロキシは、ご自身で別途ご用意いただくものです。
プラットフォーム上の他のすべてのスクレイパーと同じ均一料金です。事前見積もりが、実行前に行数とクレジット費用を表示します - ここでは一度目を通す価値があります。上限はクエリごとなので、カテゴリURLのリストは掛け算になるからです。
カタログを定期的に追跡する場合は、ボリューム価格、専用ワーカー、SLAをご用意します。規模をお知らせいただければお見積もりします。
LIVESCRAPER10 をご利用ください。同じ共通ツール上の2つの兄弟ページと、構造化データに必要なものが入っていないとき用の1つ。
同じ15列、同じJSON-LDの上限を別のカタログで。そしてこの系列でご自身のレジデンシャルプロキシを必要とするもう一方のページであり、挙げられている理由も同じです。
またしても同じパイプラインですが、重要な違いが1つ：Quillは4社に入っていないので、ご自身のプロキシは不要です。この系列のページがどれも同じように動くと決めてかかる前に、知っておく価値があります。
欲しい項目がそもそも構造化データに入れられていなかった場合、こちらはページ自体を読み、あなたが指定した属性を返します。固定スキーマより遅く、予測しにくくはありますが - 検索エンジン向けに宣言されたものだけに縛られません。
簡潔に言えば、これは個人データを含まない公開のカタログ情報です - しかも構造化データは、そもそも機械に読まれるために公開されています。
この15列にあるものはすべて、ログインの有無にかかわらず、公開されたLowesの商品ページで誰にでも表示されています。ログインは使わず、ペイウォールも越えず、アカウントにも触れません。読み取っているのは具体的にはJSON-LDのブロック - 名称、価格、在庫状況を自動の読み手が拾えるように、小売業者がまさにそのために埋め込む構造化データです。
このエクスポートには誰の名前も含まれません。 顧客の列も、レビュー投稿者の列も、販売者の列もありません - reviews は件数であってレビュー本文ではないので、レビューの本文すら返りません。商品と価格であり、データ保護の観点では軽い側に位置します。
Lowes自身の規約が同社サイトからの自動的な収集を規律しますので、ページが公開されていることに頼るのではなく、規模を広げる前にお読みください。またこれは、実行が当社の共有プールではなくご自身で用意したレジデンシャルプロキシを通って出ていく小売業者のひとつです - つまり規約の問題は、いつもより近い距離であなたに関わります。そして商品説明や画像を再公開する場合は、それが他者の文章であり他者の写真であることを忘れないでください。当社はデータ層でサードパーティのトラッカーを一切使用せず、エクスポートは30日後に自動削除されます。
いちばん多くいただく質問です。ほかにも何かあれば ご連絡ください - 回答を書いているのはボットではなく人間です。
Lowes商品スクレイパーは、lowes.com の商品ページとカテゴリページを行データに変えます。商品urlを貼り付けるか - プラットフォーム自身の例は lowes.com/pd/625493716 です - カテゴリや検索のurlを1行に1件ずつ貼り付けるか、CSV、XLSX、TXTのファイルをアップロードし、1クエリあたりの上限を設定します。すると各商品が、もとになったクエリ、生成したサービス、名称、価格と通貨、在庫状況、ブランド、sku、mpn、gtin、評価とレビュー件数、画像、リンク、説明を持つレコードとして返ります。ファイルでは15列、JSONでは16、1商品1行です。
設定がひとつ、このページを同系列の多くから分けています。Lowesは、この共通パイプライン上でご自身のレジデンシャルプロキシを必要とするとツールが挙げている、ちょうど4社のうちの1社です - 他はGrainger、Zalando、Fastenalです。挙げられている理由は、そうした小売業者がデータセンターのアドレスを遮断しているか、商品をクライアント側で描画しているか、であり、そのどちらがLowesに当てはまるかをツールは述べていません。ですからこのページも推測しません。いずれにせよ実務上の帰結は同じです：最初の実行の前にプロキシを設定してください。この小売業者では、空のファイルはマークアップよりプロキシを意味している可能性のほうが高いからです。
このエクスポートを土台にする前に理解しておくべきことが2つあります。商品はページが自身について公開するJSON-LDから読み取られます - 検索エンジンが価格や在庫状況を表示できるように、小売業者が埋め込む構造化データです。列がこうした名称を持つのはそのためであり、そこから上限が生まれます：service より後のどの列も、小売業者がその項目を宣言している場合にのみ存在するので、空のセルは実行の失敗ではなく未公開を意味します。そしてこのページは例示値を載せません。Lowesに対して実行したことが一度もないからです。このサービスの背後にある共通パイプラインから保有する45件のエクスポートのうち、Lowesの実行は一つもありません - 44件はヘッダーだけで行がなく、唯一中身のあるものは別の小売業者です。そのエクスポートには、正直な観察がちょうど一つ分の価値があり、それはLowesについてではなくツールについてのものです：query と service はすべての行で埋まっていました。スクレイパー自身が書き込むからです。そして15列のうち6列が、すべての行で空でした。
法的な面では、これは当社のカタログの中でも軽い部類のエクスポートです。収集されるものはすべて公開の商品ページで誰にでも表示されており、ログインもペイウォールも関わらず、15列のどこにも個人の名前はありません - reviews は件数でありレビュー本文ではありません。商品と価格です。Lowes自身の規約は同社サイトからの自動的な収集を引き続き規律します。しかも実行は当社の共有プールではなくご自身で用意したプロキシを通って出ていくため、この問題はいつもより近い距離であなたに関わります - 規模を広げる前にお読みください。また商品説明や画像を再公開するつもりなら、それが他者の文章であり他者の写真であることを忘れないでください。無料で始められます：最初の500行は費用がかからずクレジットカードも不要、以降は1行あたり0.002ドルの均一料金です。