これが有用な違いです。当社の実行は2-in-1ノートパソコンのカテゴリーページを1件だけ送信し、24行を受け取りました。すべて ok、すべて同じ query、そして各行に固有の product_url が入っています。このスキーマの他のカタログ系スクレイパーは、送信したアドレス1件につき1行を返します。ここではアドレス1件が棚ひとつぶんになり得ますし、このサービスの公開されている入力例そのものがカテゴリーページです。
24行すべてが parsed_price、price、currency を持っていました。同じ商品ページをご自身で取得すると、マークアップの中に2つの識別子と商品名は見つかります。しかし金額はどこにもなく、構造化データのブロックもありません。価格はブラウザ内で描画されます。ページを描画するサービスが価格を返し、通常の HTTP リクエストが返さないのは、まさにこのためです。
sku_code は CDW 自身の品番で、商品ページのアドレスの末尾の区切りでもあり、画像のアドレスに含まれる ID でもあります。sku はメーカーの品番です。当社の行では別々の値で、どちらも実際のページに載っています。結合キーを決める前に両方を確認してください。他の再販業者へ移っても通用するのはメーカーの品番のほうです。
brand、rating、reviews、description、availability は24行すべてで空でした。再販業者の一覧ページは、消費者向けレビューの装飾ではなく価格と品番を載せるものです。列の一覧ではなく、実際に届くものを前提にインポーターを設計してください。
当社の最も古い実行は11列のヘッダーを持っています。parsed_price も sku_code も product_url も description も reviews も images もありません。7月3日以降の実行はすべて、下に記載した17列の形です。古い CDW のエクスポートをお持ちなら、期待している列のうち4つが見当たらないのはそのためです。
当社の実行のうち2回は blocked (needs residential proxy) で返りました。同じ日に他の実行が完全な行を返していたにもかかわらずです。ステータスの列がどちらかを教えてくれるので、ブロックされた行は黙って消えるのではなく見える形になります。8回は成功率を示すには小さすぎる標本なので提示しません。再試行を組み込んでください。
実際のエクスポートのヘッダー行から、シートの順序どおりに読み取ったものです。以下の集計は24行の実行によるものなので、列に値が入っていたと書いてある箇所は、実際に手元にある行について述べています。
parsed_price を使ってください。rating と同じ但し書きが付きます。24行すべてで空です。name の先頭語であるにもかかわらずです。ブランドでグループ化したい場合は、名前から取り出してください。sku_code とは別の値です。他の再販業者が同じ現物を扱っているかを問うとき、突き合わせるのはこの列です。query ではなく product_url と同じでした。行は、出てきた棚ではなく自分自身の商品を指しています。images と同じ但し書きが付きます。ok、blocked (needs residential proxy)、no response (proxy)、http 404 です。この列で突き合わせてください。とくに展開が起きる場合、行数だけでは何も分かりません。1行あたり17列 · 3つのファイル形式
この表について、それを前提に作り込む前に読んでおくべきことが2つあります。第一に、価格は本物です。カテゴリー実行の24行すべてが数値、書式付きの価格、通貨を持っていました。この系統のカタログのうち、金額の列が値の入った状態で届くのはここだけです。ところが同じ商品ページを直接取得すると、およそ 57 KB の HTML が返り、そこには2つの品番と商品名が含まれる一方で価格はまったくなく、そこから読み取れる構造化データのブロックもありません。数値はブラウザ内で描画されます。当社のエクスポートにそれがあるのはサービスがページを描画するからで、HTTP ライブラリと HTML パーサーの上に組んだスクレイパーなら、動いているように見えながら手ぶらで戻ってくるでしょう。第二に、スキーマが動きました。7月1日の実行は11列のヘッダーを持ちます。query、name、brand、price、currency、sku、availability、rating、url、image、status であり、parsed_price、sku_code、product_url、description、reviews、images はありません。7月3日以降はすべて上の17列の形です。古いものと新しいものを突き合わせているなら、それが違いです。
商品を列挙するのではなく、関心のあるカテゴリーページを送信してください。当社の実行では1件のアドレスが価格付きの行を2ダース返しました。ですから数個のカテゴリーを週次で回すのは小さな作業でありながら、本物の価格系列を生みます。このサービスはこの流れのために作られています。
sku はメーカーの品番なので、CDW から競合のカタログへ移っても通用します。CDW 自身の sku_code はそうではありません。parsed_price と組み合わせれば、似た名前ではなく同一の部品について、どちらが安いかに答えられます。
再販業者の一覧は構成をタイトルに入れます。プロセッサ、メモリ、ストレージです。description が空である以上、その詳細が生きているのは name であり、そこを解析すればページを1枚も開かずにカテゴリー全体で比較可能な仕様表が得られます。
sku_code は CDW が自社システムで使う番号なので、見積書や請求書と突き合わせるならこちらです。両方の識別子の列を保持しておけば、再販業者とはその番号体系で、自社の資産台帳とはメーカーの番号体系で話ができます。
LIVESCRAPER10 をご利用ください。同じスキーマを、同じ機材市場の一般消費者側に向けたもの。法人価格と小売価格を並べたいときの、自然な2つ目のソースです。
2つの識別子の列に別々の番号が入る、もう一つの流通業者。あちらでは価格がログインの先にありますが、こちらでは届きます。
同じスキーマで、こちらもクライアント側で描画されるカタログ。複数のソース向けにインポーターを1つ作るときに参考になります。
行の隣に置く、日付入りの一覧の画像。価格が証拠になる場面では価値があります。数値はページのソースにないので、描画結果だけが記録です。
一般に公開されている一覧上の価格や品番は、ごく普通の競合情報です。ここで挙げておくべき注意点は、実行の速度と、サイト自身が表明している方針を読むことについてです。
価格、商品名、品番は、販売されている品物についての事実です。どの訪問者にも配信されるページからそれを読み取ることは、買い手が手作業でしていることを実用的な速度で行うのと同じ行為です。17列のどこにも個人を表す情報はありません。氏名も、メールアドレスも、電話番号も、アカウントもないため、個人情報を扱うサービスで問題になるデータ保護の論点は、ここでは生じません。
このサイトに固有の点が2つあります。1つ目は速度です。2ダースの行に展開されるカテゴリーのアドレスは、単一の商品取得よりも1リクエストあたりの負荷が大きく、当社自身の実行のうち2回は、他が通った日にブロックされて返ってきました。当社は節度ある速度で動き、ブロックを何度も叩き直すのではなくステータスの列に表示します。皆さんもそれに合わせて計画し、展開を無料の掛け算のように扱わないでください。2つ目はサイトが表明している方針です。CDW の robots.txt は、素のクライアントには 403 を、ブラウザの user-agent には 200 を返します。ファイルがきれいに読めたふりをせず、そのことを報告しておきます。ブラウザの user-agent で読むと、一般的なクローラーへの包括的な禁止はなく、当社が使った商品のパスもカテゴリーのパスも禁止されていません。
当社の条件は、ここにある他のサービスと同じです。一般に公開されているページのみ、ログインの先には入らず、データ層に第三者のトラッカーは置かず、エクスポートは30日後に自動削除されます。最初の500行は無料で、クレジットカードは不要です。
ok、すべて同じ query、各行に固有の product_url です。このサービスの公開されている入力例そのものがカテゴリーページです。商品ページのアドレスでも動作し、その場合は1行が返ります。parsed_price、price、currency を持っていました。このスキーマのカタログでは金額の列がサイト固有の理由で空になることが多いので、CDW はその中では異例です。query、sku_code、product_url、name、parsed_price、price、currency、images、sku、url、image、status。24行すべてで空だったのは description、availability、rating、reviews、brand です。sku_code は CDW 自身の品番で、商品ページのアドレスの末尾にあり、画像のアドレスにも現れる値です。sku はメーカーの品番です。見積もりの話を CDW とするときは CDW の番号を、同じ現物を別の再販業者のカタログで探すときはメーカーの番号を使ってください。parsed_price、sku_code、product_url、description、reviews、images がありません。7月3日以降の実行はすべて17列の形です。古いものと新しいものを突き合わせているなら、それが違いです。ok、blocked (needs residential proxy)、no response (proxy)、そして存在しないプレースホルダーのアドレスに対する http 404 です。行数ではなくこの列で突き合わせてください。展開があると行数だけでは意味をなしません。CSV、JSON、Excel の3形式です。17列とその順序は、どの形式でも同じです。CDW は、企業・官公庁・教育機関にハードウェア、ソフトウェア、サービスを販売するテクノロジー再販業者です。この17列のスキーマを共有する他のカタログとは2つの点で取得の仕方が異なり、インポーターを書く前にどちらも知っておく価値があります。1つ目は、カテゴリーのアドレスが展開されることです。当社の実行は2-in-1ノートパソコンのカテゴリーページを1件だけ送信し、24行を受け取りました。すべてが成功を報告し、すべてが送信したアドレスを query に持ち、それぞれ固有の product_url を持っています。この系統の他のどこでも、アドレス1件は1行を意味します。ここではアドレス1件が棚ひとつぶんになり得ますし、このサービスについてベンダーが公開している入力例は、商品ページではなくカテゴリーページです。展開は副作用ではなく、想定された使い方なのです。
2つ目は価格です。24行すべてが計算できる数値、書式付きの価格、通貨を持っていました。これは当社の他のカタログページでは金額の列がサイト固有の理由で空になることを思えば、CDW を異例にしています。興味深いのは、その価格がどこに無いかです。同じ商品ページを直接取得すると、およそ 57 KB の HTML が返り、CDW の品番、メーカーの品番、完全な商品名が含まれます。そして金額はまったくなく、そこから読み取れる構造化データのブロックもありません。数値はマークアップが届いた後にブラウザ内で描画されます。HTTP ライブラリと HTML パーサーの上に組んだスクレイパーは、識別子は見つけ、価格は完全に取り逃し、それでいて動いているように見えるでしょう。このサービスはブラウザと同じようにページを読み込みます。列に値が入っているのは、ひとえにそのためです。
識別子の列は注目に値します。sku_code は CDW 自身の品番であり、商品ページのアドレスの末尾の区切りでもあり、画像のアドレスに埋め込まれた ID でもあるので、行を自分自身に対して検算できます。sku はメーカーの品番で、本当に別の値です。メーカーの品番は他の再販業者へ移っても通用するので、誰か別の会社が同じ現物を扱っているかを問うときに突き合わせる列はこちらです。CDW の番号のほうは、見積もりと照合するための列です。5つの列はすべての行で空で返りました。brand、rating、reviews、description、availability です。法人向けの一覧とはそういうもので、消費者向けレビューの装飾ではなく品番と価格が載ります。ブランドでグループ化する必要があるなら、メーカー名はたいてい name の先頭語です。
埋もれさせず述べておくべき注意点が2つあります。スキーマは2026年7月1日から3日のあいだに変わりました。最も古い実行は parsed_price、sku_code、product_url、description、reviews、images を欠く11列のヘッダーを持ち、それ以降はすべて17列の形です。古いエクスポートをお持ちなら、列が合わないのはそのためです。またブロックは実在し、断続的です。8回の実行のうち2回が blocked (needs residential proxy) を返しており、しかも同じ日に他は完全な行を返していました。ですからステータスの列は重要で、スケジュールには再試行を含めるべきです。8回は成功率を示すには小さすぎる標本なので、提示しません。アクセスについて：CDW の robots.txt は素のクライアントには 403 を、ブラウザの user-agent には 200 を返します。取り繕わずそう報告します。その読み方では包括的な禁止はなく、当社が使った商品のパスもカテゴリーのパスも禁止されていません。一般に公開されているページのみ、データ層に第三者のトラッカーは置かず、エクスポートは30日後に自動削除されます。最初の500行は無料で、クレジットカードは不要です。