このエクスポートの形は際立って予測しやすく、そのうち 2 つの性質が、データをどう設計すべきかを決めます。
シード検索語はいずれも、ちょうど 10 件の候補として返ります。当社の実行ではすべてのブロックで例外なくそうなったため、実行前にジョブの規模を見積もれます - 行数はシード数 × 10 です。またこれは、position が 1 から 10 まで進んだあと、次の検索語でやり直すことも意味します。ファイル内の行番号ではなく、1 つの検索語のドロップダウン内での順位です。シードを 3 件送れば、1〜10 の番号が 3 回繰り返される 30 行が返ります。並べ替えの前に、必ず query でグループ化してください。
2 つ目の性質は、最初の候補が入力した検索語そのものだという点です。当社が計測したすべてのブロックで、候補 1 はシード文字列そのものでした。これは Google が入力どおりの検索を最初の選択肢として提示しているだけで、不具合ではありません。ただし、エクスポートのおよそ 10 分の 1 はすでに手元にあったデータだということになります。候補数を数えるなら、この「エコー行」を残すか除くかを最初に決め、一貫して適用してください。
それ以降はすべて本物の補完候補です。当社のデータではすべての候補がシード文字列で始まっており、ドロップダウンは入力を解釈し直すのではなく、そのまま延長しています。ブランド名で検索すればそのブランドに寄せられる疑問が、トピックで検索すればそのトピックが実際の検索でとる言い回しが得られます。
組み立てる URL も、読み込むページもありません。送るのは言葉だけです。
1000 件まで指定できます。シード 1 件につき 10 行が返るため、シード 100 件なら 1000 行になります。課金は行数に応じます。
これがエクスポートのすべてです。3 列というのは制約ではありません - 候補とは文字列と順位であり、ほかに載せるものがないからです。
query のグループ内でのみ意味を持ちます。注目すべき列は position であり、誤読しやすい列でもあります。 これは 1 つのシードのドロップダウン内での順位であって、行のインデックスではありません - シード 50 件のエクスポートには「1」が 50 回現れます。同一性ではなく順序として読んでください。候補は実行ごとに順位が変わったり消えたりするため、この 3 列に安定したキーは存在しません。キーが必要なら、query と suggestion を組み合わせて作ってください。
6 回の実行、そのすべてにデータあり、検索語ブロック 8 件、異なるシード 4 件。規模は小さいものの、すべてのブロックが同じ挙動を示し、そのうち 1 つは設計に織り込む価値があります。
当社データの検索語ブロック 8 件はすべて、ちょうど 10 件の候補を返しました - 少ないブロックも多いブロックもありません。費用を投じる前に行単位で規模を予測できる、数少ないエクスポートのひとつです（シード数 × 10）。逆に言えば、返りが少ないブロックは見過ごさず調べる価値がある、ということでもあります。
8 ブロック中 8 ブロックで、最上位の候補はシードそのものでした。したがって検索語ごとの 10 行は、新しい文字列 9 件とエコー 1 件です。それで分析が破綻することはありませんが、エコーを黙って数え込んだ「シードあたりの候補数」は約 11 パーセント水増しされます。あとから誰も気づかない類の誤差です。
同じシードを複数回実行しました。あるシードは 2 回ともバイト単位で同一の上位 10 件を返し、別のシードは同じ 10 件を異なる順序で返し、3 つ目は 10 件中 8 件が共通でした。つまりリストは動きますが、ゆっくりです - まさにそれが、定期的にサンプリングする価値を生む性質です。取得ごとに実行日を記録し、順位の変化をノイズではなく信号として扱うのは、いくつかサンプルが溜まってからにしてください。
リファレンスには、既定値が en の language パラメータと、より良い検索体験のために設定が推奨される region パラメータが記載されています。オートコンプリートは Google のなかでも特にロケールの影響を受けやすい領域で、人が途中まで打つ言葉は同じ言語圏でも国によって異なります。特定の市場を調べるなら両方を設定し、設定内容を記録してください。3 つの出力列のいずれも、その行がどのロケールから得られたかを後から教えてはくれません。
ドロップダウンが、ドロップダウンのままより表計算として役に立つ場面です。
オートコンプリートは人が実際に打った言葉に由来するため、ロングテールの言い回しを得る最も安価で正直な情報源です。自社カテゴリと取り扱う商品名詞をすべてシードにして実行すれば、数千件の実際の検索の形が手に入ります - 検索ボリュームが小さすぎて、どのキーワードプランナーも提示しないものまで含めて。
自社ブランドと競合ブランドをシードにして、その後に続く語を読み取ります。ブランド名に続く補完候補は、人々がそのブランドに対して抱く疑問や不安です - 価格、代替品、クレーム、ログインの不具合など。粗い手法ですが非常に速く、順位の並びから、どの連想が最も大きいのかが分かります。
1 回の取得は、その話題がどう問われているかのスナップショットです。同じシードを定期的に実行し、query と suggestion で突き合わせれば、新しい言い回しの登場と古い言い回しの消滅が見えてきます。リストの動きは緩やかなので、ある候補が上位 10 件に入りそのまま残るなら、それは一時的な揺れではなく本当の変化です。
サブスクリプションも、最低利用額も、ユーザー単位のライセンスもありません。最初の 500 行は当社負担で、以降は従量課金です。
新規アカウントごとに 1 回かぎり。クレジットカードは不要で、すべてのスクレイパーが利用できます。検索語 1 件あたり 10 行なので、費用をかけずにシード 50 件を試せます。おもちゃではなく、実務として成立するキーワード調査の分量です。
候補 1,000 件でおよそ 2 ドル - 各シードが 10 行を返すため、シード 1 件あたり約 0.02 ドルです。実行前に費用を正確に計算できる数少ないエクスポートなので、当てずっぽうは不要です。シードのリスト数に 10 を掛けるだけです。
大量のシードリストを複数の言語・地域にわたって定期的に追跡するチーム向けに、ボリューム価格、SLA、専用ワーカー、個別のオンボーディングをご用意します。想定件数をお知らせいただければお見積もりします。
LIVESCRAPER10 をご利用ください。誰がそれに答えているのか、どれくらいの頻度で問われているのかまでは分かりません。この 2 つがその先を埋めます。
端的に言えば「はい」です。候補は公開された検索ボックスの公開機能であり、入力を始めた人には誰にでも表示されます。
オートコンプリートは公開されています。アカウントがなくても、どの端末からでも、入力するだけで誰でも見られます。公開されている情報を調査目的で収集することは以前から確立された実務であり、データが公開されており、処理がサービスの運用を妨げない限り、これを禁じる連邦法はありません。
扱う内容も、データとしては極めて無害な部類です。候補とは集計値であり、多くの人の検索に共通して現れるために Google が全員へ提示している表現にすぎません。特定個人の検索履歴ではなく、この 3 列に個人を識別する情報は一切含まれません。投稿者もセッションもユーザーも存在しません。
Google の利用規約は自動アクセスを制限しているため、この点は規約上の論点として残ります。当社はログインの背後にあるものには一切触れず、データ層でサードパーティのトラッカーを動作させることもありません。エクスポートは 30 日後に自動削除されます。
よくいただく質問です。ほかにご不明な点があれば お問い合わせください - 回答を書いているのはボットではなく人間です。
query、suggestion、position。候補 1 件につき 1 行です。当社が行った 6 回の実行すべてでヘッダーは同一で、4 列目は存在しません - 候補とは文字列と順位だからです。position は 1 つの検索語のドロップダウン内での順位なので、1 から 10 まで進んだあと次のシードでリセットされます。シード 50 件のファイルには「1」が 50 回現れます。必ず先に query でグループ化してください。query を配列として受け取り、1 リクエストで最大 1000 件までまとめられます。1000 件のシードリストも、1000 件のジョブではなく 1 件のジョブで済みます。en の language パラメータと、より良い検索体験のために設定が推奨される region パラメータが記載されています。オートコンプリートはロケールによって大きく変わるため、両方を意識して設定し、設定内容はご自身で記録してください。3 つの出力列のいずれも、その行がどのロケールで生成されたかを記録していません。オートコンプリートは、入力中に Google が検索ボックスの下に提示する補完候補の一覧であり、ウェブ上で最も有用な公開シグナルのひとつです。人が実際に検索している内容に由来するため、需要の言い回しをモデルで推定したものではなく直接読み取れます。しかもキーワードツールと違い、検索ボリュームを報告できないほど小さいロングテールまで浮かび上がらせます。難点は、それがドロップダウンの中にほんの一瞬しか存在しないことです。このサービスはそれを表に変えます。候補 1 件につき 1 行、3 列で、CSV・JSON・Excel として、送信したいだけのシード検索語について出力します。
このエクスポートは形が際立って予測しやすく、それが最大の長所です。シード検索語はいずれもちょうど 10 件の候補を返し、計測したすべてのブロックでそうなりました（少ないブロックも多いブロックもありません）。したがってジョブの規模は単純にシード数 × 10 であり、費用を投じる前に分かります。公開リファレンスでは query パラメータを配列として受け取り、1 リクエストにつき最大 1000 件までまとめられるため、大きなシードリストも 1 件のジョブで済みます。残りは 2 つの任意パラメータが担います。既定値が英語の language と、より良い検索体験のために設定が推奨される region です。オートコンプリートはロケール依存が強いため、どちらも意識して設定し、別途記録しておく価値があります - 3 つの出力列のいずれも、その行がどのロケールから来たかを後から教えてはくれません。
データそのものの性質のうち、2 つは設計時に織り込むべきです。1 つ目は、position が行番号ではなく 1 つの検索語のドロップダウン内での順位だという点です。1 から 10 まで進んだあと次のシードでリセットされるため、シード 50 件のファイルには「1」が 50 回現れ、並べ替えの前に query でのグループ化が必要になります。2 つ目は、最上位の候補が入力したシードそのものだという点で、計測したすべてのブロックで発生しました。Google が入力どおりの文字列を最初の選択肢として提示しているためで、検索語ごとの 10 行は実質「新しい言い回し 9 件 + エコー 1 件」ということになります。どちらも欠陥ではありませんが、素朴な集計を静かに歪めます。エコーを含めた「シードあたりの候補数」は約 1 割ほど過大です。
変動についても正直に触れておきます。これは良し悪しの両面があります。複数のシードを繰り返し実行したところ、あるシードはバイト単位で同一の上位 10 件を返し、別のシードは同じ 10 件を並べ替えて返し、3 つ目は前回と 10 件中 8 件が共通でした。つまりリストは固定でも無作為でもなく、ゆるやかに漂います。だからこそ 1 回きりではなく繰り返しサンプリングする価値があり、同時に、この 3 列のいずれも安定した識別子として扱うべきではない理由にもなります。キーは query と suggestion を組み合わせて作り、実行日を必ず保存し、順位の動きは 1 回ではなく複数のサンプルを通じて解釈を裏づけてください。まずは無料でお試しを。最初の 500 行は無料で、クレジットカードも不要です。