入力は品番ではなくページです。ほしい検索・カテゴリ・商品を指定すれば、ジョブが各掲載の公開内容を読み取ります。
1 商品につき 1 行で、どのクエリから来たかが各行に記録されます。十数件の検索をまとめて実行しても、入力リストと必ず突き合わせられます。
このカタログ用スクレイパーが想定している入力は、検索ページやカテゴリページ--たとえば シェフナイフ で店舗が並べるものすべて--であり、あらかじめ誰かが探し当てた URL ではありません。1 行がそのまま候補リストになり、クエリごとの上限がそこからどれだけ取るかを決めます。
販売店独自の在庫コードに加えて、掲載が公開していれば mpn と gtin も出力されます。同じフライパンやスライサーを、仕入先ごとに別々の番号で登録している状態から突き合わせるための項目そのものです。
リクエストは自分のアドレスではなく共有プロキシプールを通ります。プラットフォームが住宅用回線を要すると明示している販売店--Lowes、Grainger、Zalando、Fastenal--に WebstaurantStore は含まれていないため、これは既定のプールで動きます。
各行は WebstaurantStore が公開しているとおりの掲載内容です。何という名前で、いくらで、誰が作り、どう識別され、ページが何と説明しているか。
各項目はレイアウトの掻き集めではなくページの構造化データから取るため、結果セット全体で形が安定します。同時にそれが上限でもあります。販売店が公開していない項目は、実行をどう設定しても出てきません。下の列一覧は実際のエクスポートのヘッダー行であり、プラットフォームが公開している列一覧でもあって、両者は完全に一致します。パーサーを書く前に、その下の注記を読んでください。
エクスポートのヘッダー行を順序どおりに、プラットフォームが公開する列一覧と照合したものです。説明は各項目が何のためのものかを述べます。書式や、どれくらいの頻度で値が入るかについては何も主張しません - 下の注記をご覧ください。
currency にあります。この辞書は名前の一覧として読んでください。中身の保証ではありません。15 個の名前とその順序は確実です--公開されている列一覧と、このスクレイパーの保存済み実行のヘッダー行が完全に一致しています。定まっていないのは、WebstaurantStore の場合にそこへ何が入るかです。中身の入った WebstaurantStore のエクスポートが手元にないためで、あるのは空の実行か、同じ共有ツール上の別販売店の実行のいずれかであり、ある販売店の構造化データは別の販売店について何も確かなことを語りません。ここで形式より仕組みのほうが重要になるのもそのためです。各項目は掲載が公開している構造化データから読み取られるので、エクスポートの充実度はそれと正確に一致します。query と service だけは例外で、スクレイパー自身が書き込むため、他がどうであれ全行に入ります。gtin や mpn が業務上決定的なら、無料枠で検索を 1 本走らせて中身を見てから作り込んでください。
URL のリストと上限だけ。入力は検索・カテゴリ・単一商品のいずれでも受け付け、上限が実行の規模と費用を決めます。
業務用厨房のカタログデータを、現場が実際に抱えている問いに答えるために使っている例をいくつか。
仕入れるカテゴリを一つずつ検索し--レンジ、作業台、小物--公開価格を手元の見積書と並べます。仕様リストが賭けではなく比較になり、差額こそが仕入先と話すべき論点になります。
カテゴリをエクスポートし、販売店ごとに付け方の違う在庫コードではなく mpn か gtin で結合します。これが、誰にも突き合わせられない複数の表計算を、比較できる 1 本のリストに変えます。
単品ではなく検索 URL を投入し、一定の間隔で再実行します。動いたもの--価格、在庫状況、結果セットに新しく現れたブランド--が、誰かが気づく必要のあるものではなく、2 つのエクスポートの差分として見えるようになります。
サブスクリプションも、最低利用額も、毎月の請求もありません。最初の500行は当社負担 - その後は従量課金で、ここにある他のスクレイパーと同じ均一料金です。
新規アカウントごとに初回のみ。クレジットカード不要。クエリごとの上限、ファイルアップロード、すべてのエクスポート形式を含みます。
1,000製品あたり約 $2。事前見積もりが実行開始前に行数とクレジット費用を表示します - 想定外の請求も、換算が必要な計算ユニットもありません。
継続的なモニタリングや非常に大規模なカタログ取得向けに、ボリューム料金、専用ワーカー、SLA をご用意します。ご希望の規模をお知らせいただければお見積もりします。
LIVESCRAPER10 をご利用ください。短い答え--公開カタログについては合法です。そしてこのエクスポートには、アカウント・顧客・注文のデータは一切含まれません。
ここで収集する項目は、WebstaurantStore が検索エンジンや比較サイトに読ませるために、自社の公開商品ページの構造化データとして公開しているものです。商品名、価格、在庫状況、ブランド、識別子は、ログインの有無にかかわらずページを開いた誰にでも表示されています。公開されたカタログデータの収集は長く確立された実務であり、ここではログインもアカウントも決済も一切扱いません。
この出力に個人データはありません--商品のテーブルです。顧客名も、注文履歴も、交渉価格もありません。いずれも公開されていないからです。ログイン後にあなたのアカウントに見えているものは、これが読むものではありません。それは回避すべき制限ではなく、意図した線引きです。
WebstaurantStore の利用規約は自動アクセスを制限しているため、これは法律の問題であると同時に契約の問題でもあります。同社にアカウントや取引関係がある場合は規約を確認してください。データ層でサードパーティのトラッカーは一切動かしておらず、エクスポートは 30 日で自動的に削除されます。
最もよくいただく質問です。ほかにご不明な点は お問い合わせください - 回答を書いているのはボットではなく人間です。
Livescraper の WebstaurantStore Products Scraper は、カタログの URL を商品テーブルに変えます。WebstaurantStore の検索・カテゴリ・商品 URL を 1 行に 1 件ずつ貼り付けるか、CSV、XLSX、TXT、Parquet でアップロードし、クエリあたりの行数に上限をかけて、結果を整った CSV、Excel、JSON ファイルとしてダウンロードします。リクエストは自分のアドレスではなく共有プロキシプールを通ります。
各行が 1 件の掲載です。商品名、価格と通貨、在庫状況、ブランド、販売店独自の在庫コード、メーカー型番、gtin、評価とレビュー数、画像、商品リンク、説明。これらの項目は掲載が公開している構造化データから読み取られるため、結果セット全体で形が安定します。同時にそれが上限でもあり、掲載が公開していない項目はそもそも収集しようがありません。
調達チームは仕入れるカテゴリを一つずつ検索し、公開価格を机の上の見積書と突き合わせます。データチームはカテゴリをエクスポートし、販売店ごとに付け方の違う在庫コードではなく mpn か gtin で結合して、複数の仕入先カタログを比較できる 1 本のリストに変えます。戦略チームは検索 URL を一定の間隔で投入し、誰かが気づくのを当てにせず、2 つのエクスポートの間で何が動いたかを読みます。
先に実務上の注記を一つ。このページは 15 列とその順序を説明しており、それは保存済みエクスポートとプラットフォームの公開列一覧が完全に一致している点ですが、WebstaurantStore についての値の形式や充足率は一切主張していません。根拠となる中身の入った WebstaurantStore のエクスポートがないためです。作り込む前に、無料枠で検索を 1 本走らせて最初の数行を見てください。最初の 500 行は無料でクレジットカードも不要、以降は 1 行 0.002 ドルの均一料金です。