/site/searchpage.jsp?st=… のような形のものです。position は検索結果ページでの掲載の順位で、1から下へ続きます。当社の実行では1位から23位までが返りました。この列こそ、商品スクレイパーとの違いです。ばらばらの商品ページの集まりではなく、ある日の並び順のままの棚を丸ごと捉えるので、同じ検索を毎週回せば、静止画ではなく変動の系列が手に入ります。
当社の他の小売カタログを使ったことがあるなら、parsed_price、currency、availability、そして status の印を探すはずです。ここにはどれもありません。このサービスが返すのは query、name、sku、brand、model、price、rating、reviews、image、url、position です。商品詳細の形ではなく、検索結果の形です。
Best Buy の品番はただの数字で、どの行にも2度入っています。sku の中に1度、url の中にもう1度です。当社のエクスポートには2つのアドレスの形が現れました。/product/…/sku/<sku> が58行、/site/-/<sku>.p?skuId=<sku> が27行です。アドレスではなく sku で結合すれば、どちらの形も同じ商品に行き着きます。
当社の85行すべてで、brand の値は name の先頭部分の文字列でした。タイトルがメーカー名で始まればうまくいき、「HP」や「Dell」が得られます。しかしタイトルが寸法や宣伝文句で始まると、そうはいきません。実際、当社のエクスポートには「Customer」「Latitude」「15.6" 2K Touchscreen Laptop」といった値が入っています。この列はタイトルの先頭として扱い、集計に使う前に正規化してください。
当社の7回の実行はすべて同一の検索ページのアドレスを送り、2、3、10、14、15、18、23行が返りました。順位は常に1から始まっていたので、変わったのはページをどこまで下まで取れたかです。sku と position で突き合わせ、短い実行は商品の消失ではなく短い実行として扱い、系列が薄く見えたら再実行してください。
17列のカタログ系サービスは、取得がブロックされたことが見えるように行ごとの status を書きます。このスキーマにはそれがなく、何も返さなかった実行はそもそも行を返しません。提供元のカタログはこのサービスを「Partial」とし、-blocked (needs residential proxy) と注記しています。当社が見ている状況とも一致します。行は届く、しかし深さは保証されない。実行ごとに行数を数え、落ち込んだら警告を出してください。
エクスポートの順に並べています。件数は当社自身の7回の実行によるもので、ここで列に値が入っていたと書いてあるものは、実際に手元にある行の話です。
url の中にも現れます。7つの品番は複数の実行にまたがって現れました。日付をまたいで商品を追うのはこの方法です。name の先頭部分の文字列です。実在のメーカー名も現れますが、「Customer」のような断片や画面サイズも現れます。集計に使う前に正規化してください。reviews と併せて読んでください。19行は評価0とレビュー件数0を並べて持っていますが、これは低く評価された掲載ではなく、まだ誰も評価していない掲載です。rating と同じ81行で、ゼロについての注意も同じです。当社の実行では0から 5,929 まででした。/product/…/sku/<sku> が58行、/site/-/<sku>.p?skuId=<sku> が27行です。どちらも品番を含むので、このアドレスは同一性ではなくリンクだと考えてください。query と実行日と並べて初めて意味を持ちます。1行あたり11列 · 3つのファイル形式
計画しておくべきことが2つあります。第一に、このスキーマは当社の卸売系ページが使う17列のカタログ形ではありません。parsed_price も currency も availability も description もなく、そして重要なことに行ごとの status もありません。複数の情報源に1つの取り込み処理を書くなら、これだけは分岐が要ります。第二に、深さは固定ではありません。同一の検索ページのアドレスを7回実行して、2、3、10、14、15、18、23行が返り、いずれも順位1から始まりました。提供元のカタログ自身がこのサービスを「Partial」とし、-blocked (needs residential proxy) と注記しています。行は届きます。しかし何行かを7回の実行から約束するつもりはなく、成功率も提示しません。
同じ検索を定期的に実行し、query、sku、position、日付を残します。当社の品番のうち7つが複数の実行にまたがって現れたように、結合は素直です。同じ品番、違う順位、違う日。この系列はスクリーンショットでは得られません。
価格は85行中78行に届きました。取り込み時に一度だけ記号を外し、数値を品番と日付の隣に保存すれば、いくつかの検索を毎週回すだけで、少数の商品ではなくカテゴリー全体の価格系列になります。
rating と reviews は81行で揃って届きました。レビュー件数で並べ替えれば、検索結果ページはどの商品が注目を積み上げ、どれが新顔かを教えてくれます。ただし 0/0 の行は除いてください。評価が低いのではなく、まだ評価がないという意味です。
説明の列がないので、構成は name の中にあります。検索結果ページ全体にわたって解析すれば、カテゴリーの比較可能な仕様表が手に入ります。そして model は、それを持っていた69行では、同じ機種を他社の小売カタログで見つけるための手がかりになります。
LIVESCRAPER10 をご利用ください。ここにあるもう一つの順位付き結果のサービスです。検索語を1件入れると、出品ごとに1行が出てきます。同じ商品で両方を回せば、小売店自身の棚と、開かれた市場とを並べて見られます。
同じハードウェア市場を別の小売店から。実行を計画する前にそのページを読む価値があります。あちらの話は、こちらとは正反対です。
同等のハードウェアの法人向け価格を、17列のスキーマで。あちらではカテゴリーのアドレスが、ここでの検索のアドレスと同じように展開します。
順位付きの行の隣に、日付入りの検索結果ページの画像を。順位が証拠になるとき、その主張を支えるのは画像です。
公開された検索ページ上の価格、評価、棚の並び順は、ありふれた競合情報です。ここで挙げるべき注意点は、速度と、確認できなかったことについて率直であることです。
価格、商品タイトル、評価、そして掲載が並ぶ順序は、販売されている商品についての事実です。誰にでも配信されるページからそれを読むのは、買い手が手作業でしていることを、役に立つ速さで行うのと同じです。11列のどれも人物を記述しません。氏名も、メールアドレスも、電話番号も、アカウントもありません。ですから、人に関わるサービスを形づくるデータ保護の問題は、ここでは生じません。
このサイトに固有の点が2つあります。第一に速度です。検索ページは商品ページより重いリクエストで、同じ検索でも返ってきた深さは2行から23行まで振れました。当社は控えめな速度で動きますし、より深いページを求めて1つのアドレスを叩き続けるのではなく、そのつもりで予定を組んでください。提供元のカタログ自身がこのサービスを「Partial」とし、住宅用プロキシが必要だと注記しています。反対側から見た同じ話です。第二に、取り繕うより言っておきたいことがあります。当社は Best Buy の robots.txt を読めませんでした。2026年8月12日、当社の環境からの通常の取得を3件 - トップページ、robots のファイル、検索のアドレス - 試みましたが、いずれもタイムアウトするか接続を切られました。同じセッションで無関係のサイトは普通に応答しています。ですからこのページは robots.txt の要約を一切引用しません。ファイルを見ていないからです。
当社の条件は、ここにある他のサービスと同じです。一般に公開されているページのみ、ログインの先には入らず、データ層に第三者のトラッカーは置かず、エクスポートは30日後に自動削除されます。最初の500行は無料で、クレジットカードは不要です。
/site/searchpage.jsp?st=… の形の Best Buy 検索結果ページを送り、それぞれがそのページの掲載ごとに1行を、順位を position に入れて返しました。このサービスはその形を軸に作られています。query、name、sku、brand、model、price、rating、reviews、image、url、position です。parsed_price も currency も availability も description も、行ごとの status もありません。brand の値は name の先頭部分の文字列でした。ですからメーカー名で始まるタイトルなら「HP」が得られ、画面サイズで始まるタイトルなら画面サイズが得られます。正規化するか、name からご自分でメーカー名を読み取ってください。sku です。85行すべてに届き、異なる値を70種類持ち、どの行でも url の中にも現れます。アドレスが /product/…/sku/ ではなく /site/-/<sku>.p?skuId= の形をとる27行も含めてです。代わりに他社の小売店と突き合わせたい場合は、69行に届いた model を使ってください。price は表示どおり、記号込みで、当社の85行中78行に届きます。このスキーマには数値専用の列も通貨の列もありません。計算に使うつもりなら、取り込み時に記号を外してください。CSV、JSON、Excel の3形式です。11列とその順序は、どの形式でも同じです。Best Buy は家電の小売店で、このページのサービスは商品ページではなく検索結果を読みます。この違いがこの先すべてを貫きます。/site/searchpage.jsp?st=… の形のアドレスを送ると、返ってくるのはそのページの掲載ごとの1行で、占めていた順位が position の列に入っています。当社の7回の実行はすべて同じノートパソコンの検索を送り、合わせて85行を生み、順位は1から23まででした。ある商品の詳細ページ一式が欲しいのなら形が違います。ある日のカテゴリーの状態が欲しいのなら、まさにこれです。
スキーマは11列で、当社の卸売系カタログが使う17列の形ではありません。計算できる価格の列も、通貨も、在庫状況も、説明もなく、そして最も引っかかりやすいことに、行ごとのステータスの印がありません。17列のサービスなら、ブロックされた取得でもそう書かれた行が残ります。ここでは、ページの取得が浅く終わった実行はただ行数が減るだけで、短い棚と短い実行をファイルの中で区別するものは何もありません。その証拠は直接的です。同一の検索を7回実行して2、3、10、14、15、18、23行が返り、そのどれもが順位1から始まっていました。提供元のカタログはこのサービスを「Partial」とし、住宅用プロキシが必要だと記録しています。実行ごとに行数を数え、その数を残し、カテゴリーが縮んだと決めつけるのではなく、落ち込んだら警告してください。
丁寧に読む価値のある列が2つあります。sku は Best Buy 自身の商品番号で、結合に使うべきものです。すべての行に届き、当社の85行のなかで70種類の異なる値を持ち、当社が見た2通りのアドレスの形のどちらでも、その行自身のアドレスの中に現れます。brand は名前から想像されるものではありません。85行すべてで掲載タイトルの先頭部分の文字列であり、タイトルがメーカー名で始まれば本物のメーカー名になり、そうでなければ画面サイズや脈絡のない語になります。実際、当社のエクスポートには「HP」「Dell」と並んで「Customer」や商品説明の断片が入っています。集計の前に正規化してください。69行にあった model は、欠けやすい代わりに持ち運びのきく識別子で、同じ機種を他社の小売カタログで見つけられるのはこちらです。評価とレビュー件数は81行で揃って届き、そのうち19行は両方がゼロです。評価が低いのではなく、評価がないという意味です。
当社がしないことが一つあります。読めなかったファイルについて説明することです。2026年8月12日、当社の環境からの通常の取得を3件 - Best Buy のトップページ、その robots.txt、そして検索のアドレス自体 - 試みましたが、いずれもタイムアウトするか接続を切られました。同じセッションで無関係の小売サイトは普通に応答しています。ですからこのページはサイトの robots.txt の要約を載せません。見ていないからです。成功率も載せません。1つの検索の7回の実行では支えられないからです。載せているのは、当社自身のエクスポートに何が入っていて、それをどう測ったかです。一般に公開されているページのみ、ログインの先には入らず、データ層に第三者のトラッカーは置かず、エクスポートは30日後に自動削除され、最初の500行は無料でクレジットカードは不要です。