入力ひとつ、設定ひとつ。1行は単一の製品でもカテゴリー丸ごとでもよく、カテゴリーはその製品群に展開されて返ります。
上限はクエリごとです。カテゴリーURLが5件で上限が200なら、合計200件ではなく、それぞれから200件ずつになります。
sku、mpn、gtin が価格や在庫状況と同じ行に並びます。エクスポートを自社の品目マスタや競合のリストと突き合わせられるのはこれらの項目です - 製品名での突き合わせは当て推量ですが、メーカー品番での突き合わせはそうではありません。
始めるのに製品URLのリストは要りません。気になるカテゴリーを渡せば、1製品1行に展開されて返ります - ツール自身のFastenal向けの例もそう書かれており、個別の商品ではなくセクション全体を指しています。
このパイプラインのほとんどのサービスは、あなたの実アドレスではなく当社の共有プールを経由します。Fastenalはツールが例外として名指しする数少ない一つで - データセンターのアドレスを遮断するか、製品ページをブラウザ側で組み立てます - そのためこのサービスは、あなたが用意するレジデンシャルプロキシを経由します。レジデンシャルであれば十分で、米国のものである必要はありません。
各行は1つの品目です。名称、価格とその通貨、在庫の有無、製造元、それを一意に特定する識別子、そして見せ方。
下の列一覧は実際の実行エクスポートのヘッダー行 - 45件すべて同一 - であり、実行画面が描画する列配列によって裏付けられています。名称としてこれ以上確かなものはありません。ただしこのページでは、表のあとに来る内容が普段以上に重要です。このサービスは単一のパイプラインを共有する複数サービスの一つであり、当社はそのパイプラインをFastenalに向けたことが一度もないからです。注記が、それによって何を言えて何を言えないのかを正確に記しています。
名称は正確で、二重に確認されています。説明は各列が何のためのものかを述べます - 何が入るかではありません。それは当社ではなく小売業者が決めることであり、その理由は下の注記にあります。
gtin とともに、エクスポートをFastenal以外のカタログと結合可能にするものです。このページの根拠について2点、どちらもお読みいただく価値があります。 まず仕組みです。製品は、ページが自身について公開するJSON-LD - 小売業者が検索エンジン向けに埋め込む構造化データ - から読み取られます。これはこのページが超えたふりをしない上限を設けます。service より後のどの列も、Fastenalがその項目を宣言している場合にのみ存在します。ですから空欄は未公開を意味し、実行の失敗ではありません。次に空白です。当社はこれをFastenalに対して実行したことがありません。 このサービスの背後にある共有パイプラインのエクスポートを45件保有していますが、Fastenalの実行は一つもありません - 44件は空で返り、唯一データのあるものは別の小売業者のものです。そのエクスポートは、Fastenalについてではなくツールについての正直なデータ点として価値があります。query と service はすべての行で埋まっていました。スクレイパー自身が書き込むからです - そして15列のうち6列が、どの行でも空でした。ここでも空欄を見込んでください。別の小売業者は別の構造化データを公開するので、空欄の位置は変わると見込んでください。そしてどれがそうなのかは、無料枠での最初の実行に教えてもらってください。このページが例示値も書式も載せていないのも同じ理由です。Fastenalの実行がない以上、それは作り話になります。
1行は製品ページか、カテゴリー丸ごとです。それ以外に設定するのは数字が一つと、長いリストを渡す方法が一つだけです。
このスクレイパーは、製品ページが自身について公開する構造化データ - 検索エンジンが価格や在庫状況を表示できるよう小売業者が埋め込むJSON-LDブロック - を読み取ります。列の顔ぶれがこうなっているのはそのためです。sku、mpn、gtin、brand、availability、currency は製品を記述するための標準語彙であり、当社が考案した名前ではありません。
実務上の帰結は、計画に織り込むべきものです。列の良し悪しは、小売業者自身のマークアップ次第です。 ページの構造化データにその項目がなければ空で返り、何度実行し直しても変わりません - 失敗ではなく、不在です。この共有ツールについて当社が保有する唯一のデータ入りエクスポートでは、15列のうち6列がすべての行で空でした。
マークアップが持っていないものが必要なら、それは別の仕事です - ユニバーサルAIスクレイパー はページそのものを読み、検索エンジン向けに宣言されたものだけでなく、あなたが指定した属性を返します。
ファイルをアップロードしても入力欄は消えません - 行は入力済みの内容に追加され、重複は除去されません。同じファイルを2度アップロードすれば、それらのURLは本当に2度取得され、2度課金されます。
CSVやTXTでは行全体が一つのURLとして扱われるため、余分な列があるスプレッドシートはここでは向きません。列単位で読まれるのはXLSXだけで、そこではA列を取ります。
ファイル選択にはCSV、XLSX、TXTと並んでParquetも表示されますが、ブラウザ内では実際には読み取れず、その旨が表示されます - 他の3つのいずれかをお使いください。
産業用カタログを、スプレッドシートで答えを出せるものに変えるためにチームが取る手立てをいくつか。
購買しているカテゴリーをエクスポートし、名称ではなく mpn や gtin で自社の品目マスタと結合します。得られるのは、実際に支払っている額との1行ずつの比較 - 財務チームが受け入れるのはこの形の問いです。
製品レコードにメーカー品番やバーコードが欠けているなら、カテゴリーのエクスポートがその供給源になります。ブランド、sku、mpn、gtinが1行にまとまって届くので、すでに扱っている品目の照合にはたいてい十分です。
同じカテゴリーを定期的に実行し、エクスポートを残しておきます。セクション全体で価格と在庫がどう動くかは、個別品目よりもその仕入先について多くを語ります - そしてquery列が、各実行を由来ページまで追跡可能に保ちます。
サブスクリプションなし、最低利用額なし、継続請求なし。最初の500行は当社負担です。それ以降は従量課金で、ここにある他のスクレイパーとまったく同じ均一料金です。
すべての新規アカウントに初回限定で。クレジットカード不要。クエリごとの上限、ファイルアップロード、すべてのエクスポート形式を含みます。この小売業者が必要とするレジデンシャルプロキシはお客様側でご用意いただきます。
プラットフォーム上の他のすべてのスクレイパーと同じ均一料金で、ここでの1行は1製品です。事前見積もりが、実行前に行数とクレジット費用を表示します - 想定外の請求も、換算が必要な計算ユニットもありません。
継続的なモニタリングや非常に大規模なカタログ取得に向けた、ボリューム料金、専用ワーカー、SLA。ご希望の規模をお知らせいただければお見積もりします。
LIVESCRAPER10 をご利用ください。一方はページが宣言しなかった項目を埋め、もう一方は同じ部品が他所でいくらかを教えます。
短い答え：公開されたカタログデータについてははい。そしてプライバシーの面では、スクレイピングの中でもほぼ最も問題の少ない部類です。人が一人も登場しないからです。
このエクスポートに含まれるものはすべて、公開された製品ページを開いた誰にでも表示されます。名称、価格、通貨、在庫状況、ブランド、識別子、画像、説明。さらに言えば、その大半はまさに機械に読ませるために構造化された形で公開されています - JSON-LDはそのためのものです。価格調査やカタログ業務のために収集することは長年の確立した実務であり、ここではログインも会員価格もレジも一切扱いません。
この15列には個人データが一切ありません - 氏名も、投稿者も、連絡先も。通常のプライバシー検討はそれで短く済みます。代わりに問題になるのは商業面です。価格やカタログ構成は仕入先の事業情報であり、それを自社の購買判断に使うのは通常のことですが、競合のカタログを自社のものとして再公開することは別の話で、どんなエクスポートもそれを容認可能にはしません。
Fastenalの利用規約は自動アクセスを制限しており、しかもネットワークレベルでそれを運用している小売業者の一つです - レジデンシャルプロキシがここで推奨ではなく必須条件である理由はそれです。したがってこれは技術の問題であると同時に規約の問題でもあります。当社はデータ層でサードパーティのトラッカーを一切動かしておらず、エクスポートは30日後に自動削除されます。
最も多くいただく質問です。ほかにご不明な点は？ お問い合わせください - 回答を書くのはボットではなく人間です。
LivescraperのFastenal製品スクレイパーは、産業用カタログのページをスプレッドシートに変えます。Fastenalの製品URLやカテゴリーURL丸ごとを貼り付け - 1行に1件、またはCSV、XLSX、TXTファイルとしてアップロード - クエリごとに取得する製品数を決め、結果をきれいなCSV、Excel、JSONファイルとして、1製品1行でダウンロードします。
各行には名称、価格とその通貨が別々の列として、在庫状況、ブランド、そしてカタログ業務を可能にする3つの識別子 sku、mpn、gtin が含まれます。後ろの2つこそ、このエクスポートが単に興味深いだけでなく実用的である理由です - メーカー品番は品目マスタと結合できますが、製品名はおおよそしか結合できません。評価、レビュー件数、画像、リンク、説明が15列を締めくくります。
調達チームは購買しているカテゴリーをエクスポートし、すでに支払っている額と1行ずつ突き合わせます。データ・商品チームは、自社レコードに欠けているメーカー品番やバーコードを補うために使います。オペレーションチームは同じカテゴリーを定期的に実行し、単一品目ではなくセクション全体で価格と在庫の動きを追います。
2つの制約を、埋もれさせずにここに記します。どちらも計画の立て方を変えるからです。Fastenalは、このパイプラインがデータセンターのアドレスを遮断する、あるいは製品ページをブラウザ側で組み立てると名指しする小売業者の一つなので、このサービスにはご自身のレジデンシャルプロキシが必要です - レジデンシャルで十分で、米国のものである必要はありません。そして各項目は、各ページが自身について公開する構造化データから読まれます。つまり空の列は、小売業者が一度も宣言しなかった項目であって、失敗した実行ではありません。この共有ツールについて当社が保有する唯一のデータ入りエクスポート（別の小売業者のもの）では、15列のうち6列が最後まで空でした。当社はこれをFastenalに対して実行していないので、当社が保証するのは15の列名であり、それ以外は無料枠での最初の実行が見せてくれるものです。無料で始められます。最初の500行は費用もクレジットカードも不要です。