入力ひとつ、設定ひとつ。ここには設定するプロキシがないので、作業はリンクのリストと数字だけで終わります。
上限はクエリごとです。カテゴリーURLが5件で上限が200なら、合計200件ではなく、それぞれから200件ずつになります。
1行には単独の商品ページでも、カテゴリや検索のurlでも指定できます。カテゴリはその中の商品に展開され、1件1行で返ります。一覧ページが、価格で並べ替えたりブランドでまとめたりできるものに変わるのはこのためです。
この共通パイプライン上の一部の小売業者は、ご自身のレジデンシャル経路を必要とします - ツールが挙げているのはLowes、Grainger、Zalando、Fastenalです。Costcoはその中に入っていません。実行は当社のプールを通り、あなたが設定するものは何もありません。
sku、mpn、gtin は名称の中に埋もれず独立した列として届き、currency は price の中ではなく隣に並びます。ページがそれらの項目を宣言している限り、Costco以外のカタログとエクスポートを突き合わせられるのはそのためです。
率直に述べておく価値があります。下のデータ辞書をどう読むべきかが変わるからです。
15の列名は確かです。二重に確認されています - このサービスについて公開されている列の配列と、その背後にある共通パイプラインから当社が保有するすべてのブックのヘッダー行によって。中身のあるブックでも空のブックでも同一です。これらの名前を軸に、安心してスキーマを組んでください。
できないのは、Costcoがそこに何を入れるかをお伝えすることです。Costcoに対して実行したことが一度もないからです。当社が保有するエクスポートのうち、Costcoの実行は一つもありません。ほとんどはヘッダーだけで行がなく、唯一中身のあるものはまったく別の小売業者のものです。それを取り繕うより、このページは例示値も形式も載せません - Costcoの実行がないまま書けば、それは創作になります。
よい知らせは、それがいかに安く決着するかです。宣言される十三の列のうちCostcoが実際に公開しているのはどれか - これは小さな実行を一度おこなえば決着する問いであり、最初の500行は無料です。ひとつのカテゴリに向けて実行し、返ってきたものをご覧ください。どのページが前もって正直に語れることよりも、このエクスポートについて詳しくなれます。
名称は正確で、二重に確認されています。説明は各列が何のためのものかを述べます - 何が入るかではありません。それは当社ではなく小売業者が決めることであり、その理由は下の注記にあります。
gtin とあわせて、Costco以外のカタログとエクスポートを突き合わせられるようにするのがこの列です。このページの根拠について2つ。1つ目は仕組みです：商品はページが自身について公開する JSON-LD - 小売業者が検索エンジン向けに埋め込む構造化データ - から読み取られます。これは、このページが超えたふりをしない上限を定めます。service より後のどの列も、Costcoがその項目を宣言している場合にのみ存在するので、空欄は未公開を意味し、実行の失敗ではありません。2つ目は欠落です：Costcoに対して実行したことが一度もありません。このサービスの背後にある共通パイプラインから45件のエクスポートを保有していますが、Costcoの実行は一つもなく、44件は空で、唯一中身のあるものは別の小売業者のものです。そのエクスポートは、Costcoについてではなくツールについての正直なデータ点として1つ分の価値があります：query と service はすべての行で埋まっていました。スクレイパー自身が書き込むからです。そして15列のうち6列が、1行残らず空でした。ここでも欠落を想定し、別の小売業者は別の構造化データを公開するので位置は変わると想定し、無料枠での最初の実行に教えてもらってください。このページが例示値も形式も載せないのも、同じ理由です：Costcoの実行がないまま書けば、それは創作になります。
urlの一覧と上限。並べ替えも、絞り込みも、プロキシの入力欄もありません - この小売業者では、ほかに設定するものはありません。
このスクレイパーは、製品ページが自身について公開する構造化データ - 検索エンジンが価格や在庫状況を表示できるよう小売業者が埋め込むJSON-LDブロック - を読み取ります。列の顔ぶれがこうなっているのはそのためです。sku、mpn、gtin、brand、availability、currency は製品を記述するための標準語彙であり、当社が考案した名前ではありません。
実務上の帰結は、計画に織り込むべきものです。列の良し悪しは、小売業者自身のマークアップ次第です。 ページの構造化データにその項目がなければ空で返り、何度実行し直しても変わりません - 失敗ではなく、不在です。この共有ツールについて当社が保有する唯一のデータ入りエクスポートでは、15列のうち6列がすべての行で空でした。
マークアップが持っていないものが必要なら、それは別の仕事です - ユニバーサルAIスクレイパー はページそのものを読み、検索エンジン向けに宣言されたものだけでなく、あなたが指定した属性を返します。
アップロードしたファイルは入力欄を空にしません - 行はすでに入力済みの内容に追加され、重複は取り除かれません。同じファイルを2回アップロードすれば、それらのURLは本当に2回取得され、2回課金されます。これはこのパイプライン固有の挙動です：当社の他のスクレイパーにはアップロード時に重複を除くものもありますが、これは除きません。習慣を持ち込まないでください。
CSVやTXTでは行全体が一つのURLとして扱われるため、余分な列があるスプレッドシートはここでは向きません。列単位で読まれるのはXLSXだけで、そこではA列を取ります。
ファイル選択にはCSV、XLSX、TXTと並んでParquetも表示されますが、ブラウザ内では実際には読み取れず、その旨が表示されます - 他の3つのいずれかをお使いください。
小売のカタログが表になったとき、何ができるのか、いくつか例を。
カテゴリページを渡せば、そこにあるすべての商品が行として返り、名称の隣にブランドと識別子の列が並びます。一覧ページを、サイトが用意した以外の基準で並べ替えられること - それがまさに狙いです。
service が各行に刻まれるので、1つの表にCostcoとこのパイプライン上の他の小売業者を同居させても、きれいに分けられます。mpn や gtin が宣言されているところでは、同じ商品を仕入先をまたいで突き合わせられます。
同じカテゴリURLを定期的に回せば、比較可能なファイルが2つ手に入ります。何が現れ、何が消え、何が変わったかは、午後いっぱいのクリック作業ではなく差分になります - そして公開されている場合は sku が差分の鍵です。
サブスクリプションなし、最低額なし、継続請求なし。最初の500行は当社負担で、その後は従量課金 - ここにある他のどのスクレイパーとも同じ均一料金です。
すべての新規アカウントに初回限定で。クレジットカード不要。クエリ単位の上限、ファイルアップロード、すべてのエクスポート形式を含みます - そしてこの小売業者では、支払うべきプロキシもありません。
プラットフォーム上の他のすべてのスクレイパーと同じ均一料金です。事前見積もりが、実行前に行数とクレジット費用を表示します - ここでは一度目を通す価値があります。上限はクエリごとなので、カテゴリURLのリストは掛け算になるからです。
カタログを定期的に追跡する場合は、ボリューム価格、専用ワーカー、SLAをご用意します。規模をお知らせいただければお見積もりします。
LIVESCRAPER10 をご利用ください。同じ共通ツール上の2つの兄弟ページと、構造化データに必要なものが入っていないとき用の1つ。
同じ15列、同じJSON-LDの上限を別のカタログで。そしてこちらと同様、ご自身のプロキシは不要です。両方を追いかけるなら、service が1つのファイルの中で行を分けてくれます。
またしても同じパイプラインですが、重要な違いが1つ：Lowesは、ご自身のレジデンシャルプロキシを必要とする4社のうちの1社です。この系列のページがどれも同じように動くと決めてかかる前に、知っておく価値があります。
欲しい項目がそもそも構造化データに入れられていなかった場合、こちらはページ自体を読み、あなたが指定した属性を返します。固定スキーマより遅く、予測しにくくはありますが - 検索エンジン向けに宣言されたものだけに縛られません。
簡潔に言えば、これは個人データを含まない公開のカタログ情報です - しかも構造化データは、そもそも機械に読まれるために公開されています。
この15列にあるものはすべて、ログインの有無にかかわらず、公開されたCostcoの商品ページで誰にでも表示されています。ログインは使わず、ペイウォールも越えず、アカウントにも触れません。実行はご自身のipではなく当社のプロキシプールを通ります。読み取っているのは具体的にはJSON-LDのブロック - 名称、価格、在庫状況を自動の読み手が拾えるように、小売業者がまさにそのために埋め込む構造化データです。
このエクスポートには誰の名前も含まれません。 顧客の列も、レビュー投稿者の列も、販売者の列もありません - reviews は件数であってレビュー本文ではないので、レビューの本文すら返りません。商品と価格であり、データ保護の観点では軽い側に位置します。
Costco自身の規約が同社サイトからの自動的な収集を規律しますので、ページが公開されていることに頼るのではなく、規模を広げる前にお読みください。また商品説明や画像を再公開する場合は、それが他者の文章であり他者の写真であることを忘れないでください - 分析のために収集することと、公開することは別の問題です。当社はデータ層でサードパーティのトラッカーを一切使用せず、エクスポートは30日後に自動削除されます。
いちばん多くいただく質問です。ほかにも何かあれば ご連絡ください - 回答を書いているのはボットではなく人間です。
Costco商品スクレイパーは、costco.com の商品ページとカテゴリページを行データに変えます。商品urlを貼り付けるか - プラットフォーム自身の例は costco.com/….product.100067100.html です - カテゴリや検索のurlを1行に1件ずつ貼り付けるか、CSV、XLSX、TXTのファイルをアップロードし、1クエリあたりの上限を設定します。すると各商品が、もとになったクエリ、生成したサービス、名称、価格と通貨、在庫状況、ブランド、sku、mpn、gtin、評価とレビュー件数、画像、リンク、説明を持つレコードとして返ります。ファイルでは15列、JSONでは16、1商品1行です。この共通パイプライン上の一部の小売業者とは違い - ツールが挙げているのはLowes、Grainger、Zalando、Fastenalです - Costcoにご自身のレジデンシャルプロキシは不要です。一覧と上限のほかに設定するものはありません。
このエクスポートを土台にする前に理解しておく価値のあることが2つあり、どちらもデータの出どころに行き着きます。商品は、ページが自身について公開するJSON-LDから読み取られます - 検索エンジンが価格と在庫状況を表示できるように、小売業者が埋め込む構造化データです。列が今の名前を持つのはそのためで、sku、mpn、gtin、brand、availability、currency は商品を記述するための標準的な語彙です。同時にそれは上限も定めます：service より後のすべての列は、小売業者がその項目を宣言している場合にのみ存在するので、空のセルは未公開であって実行の失敗ではなく、再実行しても埋まりません。
2つ目は、このページが例示値を載せていないことです。Costcoに対して実行したことが一度もないからです。このサービスの背後にある共通パイプラインから保有する45件のエクスポートのうち、Costcoの実行は一つもありません - 44件はヘッダーだけで行がなく、唯一中身のあるものは別の小売業者です。そのエクスポートには、正直な観察がちょうど一つ分の価値があり、それはCostcoについてではなくツールについてのものです：query と service はすべての行で埋まっていました。スクレイパー自身が書き込むからです。そして15列のうち6列が、すべての行で空でした。ここでも欠落を想定し、別の小売業者は別の構造化データを公開するので位置は変わると想定し、小さな無料枠の実行に教えてもらってください - これは500行の無料枠が永久に決着させてくれる問いです。
法的な面では、これは当社のカタログの中でも軽い部類のエクスポートです。収集されるものはすべて公開の商品ページで誰にでも表示されており、ログインもペイウォールも関わらず、15列のどこにも個人の名前はありません - reviews は件数でありレビュー本文ではないので、レビュー本文が返ることもありません。商品と価格です。Costco自身の規約は同社サイトからの自動的な収集を引き続き規律しますので、規模を広げる前にお読みください。また商品説明や画像を再公開するつもりなら、それが他者の文章であり他者の写真であることを忘れないでください。無料で始められます：最初の500行は費用がかからずクレジットカードも不要、以降は1行あたり0.002ドルの均一料金です。