これが卸業者を扱う利点です。当社の実際の行では sku_code が 1033704、つまり Waxie 自身の品番で、sku が 80009 でした。ページはこれを文字どおり Manufacturer Item（メーカー品番）と表示しています。どちらも実際のページに載っており、どちらもエクスポートに入っています。この系統のどのページも、結合キーを決める前に両方を確認するよう述べていますが、その理由を示すのがこの事例です。
price、parsed_price、currency、availability は、実際の2行ともに空でした。商品ページをご自身で取得すれば理由が分かります。匿名の訪問者に返るのは商品とログインの案内であって、数字ではありません。Waxie の公開されているサービス注記も同じことを述べています。ログインなしでは一部のデータを取得できない卸売サイトだ、と。当社はログインしないので、その数字を持っていません。
商品ページのアドレスには warehouse-id が付いています。特定の拠点の在庫と特定のアカウントの取引条件に対して卸業者が見積もっている、ということです。公開された単一の数字が存在しない2つ目の理由がこれで、ログイン後の数字ですら、誰がどこから尋ねているかによって変わります。
当社の成功した2回の実行は、同じ商品を5分間隔で送信し、どちらも status: ok を返しました。最初の実行は商品名だけを返し、2回目は説明、2つの識別子、正規のアドレスを追加しました。同じページ、同じ日、異なる深さです。ですから内容の薄い行は、項目が存在しない証拠ではなく、再試行すべきものとして扱ってください。
実際の商品ページにはメーカー名が載っているのに、当社の brand の列は実際の2行とも空でした。言い訳をせず、欠落として記録しておきます。それまでの間、メーカー名は説明文の中に現れることが多いので、そちらをご覧ください。
最後の列は status で、サイトではなく当社のエクスポーターが書き込みます。4回の実行を通じて2種類の値をとりました。ok と、存在しないプレースホルダーのアドレスに対する http 404 です。失敗した行も理由を持って必ず届きます。
実際のエクスポートのヘッダー行から、シートの順序どおりに読み取ったものです。値が入っていることを確認できた列は、その値がどのようなものだったかを記しています。すべての行で空だった列は、そのことを記しています。
url と完全に一致していました。1033704 で、商品ページが冒頭に掲げている番号です。Waxie に発注の話をするときに使うのはこちらです。WAXIE MULTI-TASK WIPES BUCKETS でした。マーケティング的な文章ではなく、大文字の卸業者向け略記だと考えてください。rating と同じ但し書きが付きます。すべての行で空です。description をご覧ください。80009 で、ページ上でもそのように表示されています。上の sku_code とは別物で、同じ現物を2つの異なる卸業者のあいだで突き合わせるときに使うのはこちらです。query と等しく、これらのリクエストがリダイレクトなしで処理されたことが分かります。ok と http 404 です。行数ではなくこの列で突き合わせてください。1行あたり17列 · 3つのファイル形式
金額の列が空である理由を、はっきり述べます。このサービスの実行は手元に4回あります。2回は実在する Waxie の商品を送信して status: ok を返し、2回は存在しないプレースホルダーのアドレスを送信して http 404 を返しました。実際の2行では price、parsed_price、currency、availability が空文字列で、rating、reviews、brand、image、images も同様でした。これは当社側の欠陥ではなく情報源の性質です。商品ページを直接取得すると、およそ 131 KB の正常なページが返り、そこには商品と2つの品番、そしてログインの案内が表示されますが、ログインしていない相手に価格は一切示されません。Waxie 自身の公開サービス注記も、ログインなしでは一部のデータを取得できない卸売サイトだと記しており、同じ事実を反対側から述べています。もうひとつ注意すべき点があります。成功した2回の実行は同じアドレスに対する5分間隔のもので、先の実行は商品名だけを返し、後の実行は説明、2つの識別子、正規のアドレスを返しました。同じページ、同じ日、異なる深さです。項目が空だと結論づける前に、内容の薄い行は再試行してください。
sku はメーカーの品番なので、卸業者が変わっても通用します。sku_code はそうではありません。Waxie から仕入れている品目が競合の扱う品目と同じかを問うときの結合キーがこれです。大文字の商用表記に対する名称照合では、確実には答えられない問いです。
sku_code は Waxie が自社システムで使う番号なので、発注書や請求書と突き合わせるならこちらです。両方の列を保持しておけば、卸業者とはその番号体系で、自社データベースとはメーカーの番号体系で話ができます。
卸売カタログでは、梱包の内訳が専用の項目ではなく商品テキストの中に書かれていることが多く、当社の行も例外ではありませんでした。品目の隣にケース入数が必要なシステムなら、description が解析元になります。
商品ページのアドレスをまとめて定期的に実行し、name、description、2つの識別子を実行日とともに保存します。これで価格の動きは得られませんが、改名・記述変更・取扱終了は見えます。卸売業者がめったに告知しない類いのことです。
LIVESCRAPER10 をご利用ください。同じスキーマのもう一つの卸カタログ。あちらは JavaScript で描画され、こちらは違います。取得の組み立て方を左右する類いの差です。
同じ17列ですが、識別子の項目が2つではなく1つの値を持つ例。どちらの列で結合するかを決めるときの参考になります。
同じスキーマを卸売業者ではなく一般消費者向け小売に向けたもの。あちらでは価格の列に公開された中身があります。
行の隣に置く、日付入りの商品ページの画像。価格があるべき場所にログインの案内が出ているページでは、持っておく価値があります。
一般に公開されているページ上の商品情報は、ごく普通の競合情報です。ここで挙げておくべき注意点は、ログインという境界と、robots ファイルを公開していないサイトについてです。
商品名、説明、品番は、販売されている品物についての事実です。どの訪問者にも配信されるページからそれを読み取ることは、買い手が手作業でしていることを実用的な速度で行うのと同じ行為です。17列のどこにも個人を表す情報はありません。氏名も、メールアドレスも、電話番号も、アカウントもないため、個人情報を扱うサービスで問題になるデータ保護の論点は、ここでは生じません。
このサイトで重要な境界はログインです。Waxie は卸売業者で、価格、拠点在庫、アカウントの取引条件は Web@Work のログインの先にあります。サービス自身の公開注記もそう述べています。当社はログインせず、他人の認証情報も使わず、案内を回避もしません。ですからこのサービスが到達できる範囲は、匿名の訪問者が到達できる範囲です。これは一時的なものではなく実際の限界です。必要な数字が特定のアカウントでログインしたときにしか現れないのであれば、ここでは何も生み出せません。2つ目の点も率直に述べておきます。shop.waxie.com は robots.txt をまったく配信しておらず、リクエストは 404 で終わります。当社はこれを許可ではなく指示の不在と読み、だからこそこのサービスは他の場所と同じ土台にとどまります。公開ページのみ、匿名で、節度ある速度で。
当社の条件は、ここにある他のサービスと同じです。一般に公開されているページのみ、ログインの先には入らず、データ層に第三者のトラッカーは置かず、エクスポートは30日後に自動削除されます。最初の500行は無料で、クレジットカードは不要です。
price、parsed_price、currency、availability は実際の2行とも空でした。Waxie は卸売サイトで、価格はログイン済みの Web@Work アカウントにしか表示されません。公開されているサービス注記にも、ログインなしでは一部のデータを取得できないと書かれています。当社はログインせず、他人の認証情報も使わないので、このサービスが見るのは匿名の訪問者が見るものです。どの設定でもこれは変わりません。sku_code は Waxie 自身の品番で、当社の行では 1033704。sku はメーカーの品番で 80009 であり、ページはこれをメーカー品番と表示しています。Waxie に発注の話をするときは sku_code を、同じ現物を他社のカタログで探すときは sku を使ってください。query、sku_code、product_url、name、description、sku、url、status です。手元のすべての行で空だったのは parsed_price、price、currency、availability、rating、reviews、images、brand、image です。ok を報告しましたが、先の実行は商品名だけを返し、後の実行は説明、2つの識別子、正規のアドレスを追加しました。実務上の助言としては、その商品について項目が空だと結論づける前に、内容の薄い行を再試行してください。query、sku_code、product_url、name、description、parsed_price、price、currency、availability、rating、reviews、images、brand、sku、url、image、status。送信した商品ページごとに1行です。description の中に現れることが多いので、そこから解析してください。ok と、存在しないプレースホルダーのアドレスを送信した2回の実行での http 404 です。失敗した行も理由を持って届きます。CSV、JSON、Excel の3形式です。17列とその順序は、どの形式でも同じです。Waxie は衛生・清掃用品の卸売業者で、一般消費者ではなく法人アカウントに販売しています。それが商品ページの伝えられる内容を形づくっています。役に立つ項目は購買システムが必要とするもの - 商品名、梱包の内訳を含む説明、そして2つの別々の品番 - であり、価格・拠点在庫・アカウントの取引条件は Web@Work のログインの先にあります。サービス自身の公開注記がはっきり述べています。ログインなしでは一部のデータを取得できない B2B の卸売サイトだ、と。
このエクスポートに価値があるのは、2つの識別子の列があるからです。手元の実際の行では、sku_code が 1033704 - Waxie 自身の品番で、ページが冒頭に掲げ、発注時に伝える番号 - であり、sku が 80009 で、ページはこれを文字どおりメーカー品番と表示しています。どちらの値も実際のページに現れており、これによってこの行が解析ミスではなく本物だと分かります。この系統のどのスクレイパーも、結合キーを決める前に2つの識別子の項目を確認するよう勧めていますが、Waxie はそれがなぜ重要かを示す事例です。メーカーの品番は卸業者が変わっても通用するので、2つのカタログが同じ現物を扱っているかを問うときに突き合わせる列はこちらです。卸業者の品番は、発注書と照合するための列です。
返ってこないのは金額です。price、parsed_price、currency、availability は実際の2行とも空で、rating、reviews、brand、image、images も同様でした。商品ページを直接取得すると、最初の一群の理由が分かります。およそ 131 KB の正常なページが返り、商品と2つの品番、そしてログインの案内が表示されますが、ログインしていない訪問者に数字は一切ありません。商品ページのアドレスには倉庫の識別子も付いているので、ログイン後の価格ですら拠点とアカウントに限定されます。誰かが読み取れる公開された単一の数字は存在しないのです。一方で brand が空なのは情報源の性質ではなく本当の欠落です。実際のページにはメーカー名が印字されているからで、そのように記録しています。
一貫性についての注意点は、埋もれさせるのではなく述べておくべきものです。成功した2回の実行は同じ商品ページのアドレスを5分間隔で送信し、どちらも成功を報告しましたが、先の実行は商品名だけを返し、後の実行は説明、2つの識別子、正規のアドレスを追加しました。同じページ、同じ日、異なる深さです。その商品について項目が存在しないと結論づける前に、内容の薄い行を再試行してください。また2回という実行数は成功率を示すには小さすぎる標本なので、提示しません。最後に、shop.waxie.com は robots.txt を公開しておらず - リクエストは 404 を返します - 当社はこれを許可ではなく指示の不在として扱います。一般に公開されているページのみ、匿名で、節度ある速度で、データ層に第三者のトラッカーは置かず、エクスポートは30日後に自動削除されます。最初の500行は無料で、クレジットカードは不要です。