設定するものはごくわずかです。だからこそ、最後の手順が最も重要になります。
status 列を読み、そのうえで name と price に実際に値が入っているか確認してください。この最後の手順は形式的な注意ではありません。私たちの実行では、status が ok でありながら他が空のままの行が届きました。データ辞書をご覧ください。
多くのスクレイパーは、うまくいかなかったリクエストを黙って落とします。これは行を返したうえで、status に何が起きたかを記します。私たちは ok、http 404、blocked (needs residential proxy) を確認しました。理由を説明できる空欄は、いつの間にか存在しなかった行よりはるかに価値があります。
price と parsed_price は別々の列で、currency が 3 つ目です。表示用の文字列は読みやすいまま、計算や並べ替えに使うのは解析済みの値なので、後段の処理が計算前にテキストから記号を取り除く必要はありません。
sku と sku_code はどちらも宣言されており、brand も並びます。この規模のカタログでは、購買システムとエクスポートを突き合わせられるかどうかを決めるのは識別子です。どちらがどの識別子を持つかは、ご自身の最初のエクスポートが示してくれます。
列名はサービス自身が公表している一覧であり、私たちのエクスポートのヘッダー行でもあります。各列が何のためのものかは以下のとおりです。何が入るかは書いていません。その理由は注記で説明します。
ok、http 404、blocked (needs residential proxy)。ok が何を保証し、何を保証しないかについては下の警告をご覧ください。sku と並んでサービスが宣言している 2 つ目の商品コード列。どちらがどの識別子を持つかは、ご自身のエクスポートで確認してください。image と並んで宣言されている複数形の画像列。複数の値を持つのか、どのような形式なのかは、まだお伝えできません。url と並んでサービスが宣言している 2 つ目のリンク列。列名は信頼できます。値はご自身の最初の実行の仕事であり、ここではその但し書きが普段より重く効きます。このサービスの実行エクスポートを 7 件保有していますが、そのどれにも実際の Office Depot の商品は入っていません。4 件は status が ok でありながら name が Site Maintenance で、ほかのすべての項目が空欄でした。小売業者がメンテナンスページを配信しており、スクレイパーはそれを忠実に取得したのです。1 件は blocked (needs residential proxy) で返りました。残る 2 件はプレースホルダー URL に対する http 404 で、そもそも Office Depot に対する実行ですらありません。ですから最も役立つことをお伝えします。status が ok でも、商品データが得られたことにはなりません。行を信頼する前に、name と price に実際に値があるか確かめてください。あと 2 点。フォームの注意書きには、アンチボットのあるサイトは無料プール（住宅用のみ）で「blocked」ステータスを返すとあり、私たちの行の 1 つがまさにそう述べています。この小売業者には住宅用プロキシが必要になる可能性があります。そして最も古いエクスポートはこの 17 列のうち 11 列しか持っていません。スキーマは動いているので、測定するものは古いファイルではなく現行の実行から取ってください。
いずれも、すでに手元にある商品リンクから始まります。
事務用品は 1 品ずつではなく、繰り返し使うリストから購入されます。実際に再発注している商品 URL を入れれば、商品名、価格、通貨、在庫状況が 1 つの表になります。毎月同じ形なので、月次の比較がそもそも成り立ちます。
availability と status は合わせて、商品とリクエストの両方を説明します。リストをスケジュールで実行すれば、何が在庫切れになったかだけでなく、どのリンクが解決しなくなったかも分かります。http 404 の行は、誰も教えてくれなかった廃番商品です。
これは同じ 17 列のスキーマを共有する複数の小売業者の 1 つなので、Office Depot のエクスポートと Macy's や Quill のエクスポートは、形を変えずに 1 つの表に重ねられます。同じ商品を 2 社間で突き合わせられるのは識別子のおかげです。
サブスクリプションも、最低利用額も、ユーザー単位のライセンスもありません。最初の 500 行は無料で、その後は従量課金です。
新規アカウントごとに 1 回。クレジットカード不要。すべてのスクレイパーが使えます。手元のどの実行も実際の商品を返していない以上、ここで最も重要なのはこの点です。何かを計画する前に、数行を使ってこのエクスポートが実際に何を返すのかを確かめてください。
1,000 商品でおよそ 2 ドル。プラットフォーム上のどのスクレイパーとも同じ均一料金です。1 商品 1 行ということは、請求額はリンクリストの長さそのもの。失敗ステータスで返る行も行として数えられます。
複数の小売業者にまたがる大規模な調達カタログを再価格設定するチーム向けに、ボリューム料金、SLA、専用ワーカー、個別のオンボーディングをご用意しています。想定件数をお知らせいただければ、お見積りします。
LIVESCRAPER10 をご利用ください。事務用品が 1 か所からだけ届くことはめったになく、比較はエクスポートの形がそろって初めて成立します。
最も直接的な比較対象です。もう 1 つの事務用品カタログで、しかも住宅用プロキシを必要としません。価格が単に最新かどうかではなく競争力があるかを確かめたいときは、両方を実行してください。
同じ 17 列のスキーマ上にある別の小売業者なので、2 つのエクスポートは加工なしで 1 つの表に重ねられます。この共有パイプラインの挙動についての 2 つ目のデータ点として特に役立ちます。
別のパイプライン上の、はるかに深いスキーマです。旧価格、配送、ランキング、そして長く続く仕様項目群。17 列では必要な比較に足りないときに使ってください。
短い答えは「はい」です。商品ページが公開しているものだけを収集する限りにおいて、であり、このサービスが読むのはそれだけです。
商品の掲載情報は公開されています。誰でもアカウントなしで開いて商品名、価格、在庫状況を読めますし、公開されている商業情報を収集することは以前から確立された慣行です。データが公開されており、その処理がサービスに支障を与えない限り、これを禁じる連邦法はありません。
これは私たちが提供する中で最もすっきりしたエクスポートでもあります。この 17 列のどれも個人データではないからです。価格、商品コード、在庫状況は人ではなく商品を表すので、レビューやプロフィールで生じるデータ保護上の論点はここでは発生しません。価格は企業自身の商業情報です。仕入先の価格も、自社のそれをどう扱ってほしいかと同じように扱ってください。そして、取得した価格はある時点の価格であって、恒久的な事実ではありません。
Office Depot の規約は自動アクセスを制限しているので、これは利用規約の問題として残ります。私たちはログインの内側にあるものには一切触れず、通常の訪問者のブラウザに配信されるものだけを読み、データ層でサードパーティのトラッカーを動かすこともなく、エクスポートは 30 日後に自動削除されます。
最もよくいただく質問です。ほかにもあれば お問い合わせください。回答を書いているのは人であって、ボットではありません。
事務用品は、ほとんど変わらないリストと、絶えず変わる価格で購入されます。追跡する価値は明らかなのに、手作業で追跡するのは面倒だということです。このサービスは、すでに再発注している商品リンクを受け取り、それぞれを 1 行として返します。商品名、ブランド、表示どおりの価格と計算に使える値としての価格、通貨、在庫状況、商品コード、評価とレビュー数、画像、そして商品リンク。17 列、1 商品につき 1 行です。
フォームは意図的に小さく、URL の一覧と上限だけです。上限は最小 1 を受け付け、既定は 100 です。ただし注目すべきは設定ではなく列のほうです。status は各リクエストに何が起きたかを記録し、失敗したリクエストも黙って消えるのではなくラベル付きの行として返るので、どの入力リンクが機能しなかったのかが正確に分かります。私たちの実行では、この列は 3 つの値を持ちました。ok、http 404、blocked (needs residential proxy) です。
最後の値は見込んでおく価値があります。フォームの注意書き自体が、アンチボットのあるサイトは無料プール（住宅用のみ）で blocked ステータスを返すと述べており、手元のエクスポートの 1 つがまさにそう言っています。この小売業者には住宅用プロキシが必要になる可能性があります。確実ではありませんが、意外でもありません。
そしてこのページが埋もれさせず前面に置く但し書きが 1 つあります。パイプラインを静かに壊すのは、まさにこの種のことだからです。status が ok でも、商品データが得られる保証にはなりません。手元の 7 件の実行エクスポートのうち 4 件は ok を返しましたが、name 列は Site Maintenance で、ほかはすべて空欄でした。Office Depot がメンテナンス画面を配信しており、スクレイパーは与えられたものを正確に、そして役に立たない形で記録したのです。1 件はブロックされ、残る 2 件は小売業者ではなくプレースホルダー URL に対する 404 でした。つまり私たちは、実際の Office Depot の商品が返ってくるのを一度も見ていません。ですからここにある 17 の列名は信頼できますが、それらの列に何が入るかという記述は、推測する代わりに意図的に置いていません。status だけでなく name と price を確認してください。無料でお試しください。最初の 500 行は費用もクレジットカードも不要です。最新の料金は料金ページをご確認ください。