Google検索ニューススクレイパー

報道を、
行データとして

クエリを送信すると、ニュースの結果が返ります。見出し、掲載媒体、絶対値の公開日時、リンク、記事のメイン画像が含まれます。過去1時間、1日、1週間、1か月、1年で絞り込め、あらゆる言語とあらゆる国に対応し、1回の実行で最大1,000件のクエリをまとめて処理できます。

初回500行無料以降は1行0.002ドル全言語・全国対応CSV · JSON · Excel
使い方

クエリを入れると、
報道が返る

検索ツール群のほかのものと同じ形です。クエリの一覧、ロケール、そしてどこまでさかのぼるかを指定します。

  1. ステップ 1プラットフォームにサインインします。
  2. ステップ 2Google検索ニューススクレイパーを開きます。
  3. ステップ 3クエリを貼り付けます。1回あたり最大1,000件です。
  4. ステップ 4言語、国、期間を設定します。
  5. ステップ 51クエリあたりのページ数を選びます。
  6. ステップ 6形式を選び、Get Data をクリックします。

各行にはそれを生んだクエリが付与されるため、監視リスト全体にわたる実行でも入力と突き合わせられます。

返ってくるもの

すべての列を、
明確に説明

ニュース結果1件につき7つのフィールドで、それぞれ1行、各行にはそれを見つけ出したクエリが付与されます。

query
この結果を生んだ検索語。返したすべての行に繰り返し入ります。
title
公開されたままの見出し。
source
その記事を掲載した媒体。ドメインだけのこともあれば、ブランド名のこともあります。形式が一定ではないため、ドメインとして解析しないでください。
date
記事が公開された時点。GMTの絶対タイムスタンプです。相対表記の「3日前」ではないため、エクスポートは無期限に日付を特定できます。
link
記事のURL。発行元自身のアドレスではなくnews.google.com上のGoogleリダイレクトです。たどれば解決しますが正規URLではないため、これで重複排除もドメインの読み取りもできません。
snippet
結果の横に表示されるテキスト。実際には見出しに続いて媒体名が入るため、記事を要約するのではなくtitlesourceを繰り返します。
image
記事のメイン画像。発行元自身のサーバー上の直接URLです。

1記事につき7列 - 無料枠を含むすべてのプランで、上記のすべての列が返ります。

掲載順位の列はない点にご注意ください。結果が返った順序を知る必要がある場合は、エクスポートの行順を保持してください。あとから復元することはできません。

知っておく価値のあること

リンクは発行元
URLではありません。

2つの列は名前から受ける印象とは違う振る舞いをします。知っていればどちらも問題になりませんが、知らないとどちらも厄介です。

linkはリダイレクトです。すべてのURLは媒体ではなくnews.google.com/rss/articles/…を指して返ります。たどれば記事に解決しますが正規のアドレスではありません。つまり実行をまたいでこれで重複排除することも、ドメインを取り出すことも、リダイレクトをたどらずにページを取得することもできません。媒体にはsourceを使い、実際のURLが必要ならリダイレクトを解決してください。

snippetは見出しの繰り返しです。要約ではありません。実際にはタイトルに続いて媒体名が入る形で返るため、ほかの列がすでに与えている以上の情報はほとんど含みません。説明文に対して感情分析やキーワード分析を行う予定だったのであれば、このフィールドは該当しません。正直に言えば、このサービスが分析対象として提供するのは見出しです。

よい知らせは、最も面倒を起こしそうな列がそうならないことです。dateはGMTの絶対タイムスタンプなので、データセットの日付を特定可能に保つために実行時の記録管理は不要です。

livescraper.app · 列の振る舞い
日時が「2時間前」の形で届くことはありません
媒体名の表記は一定ではありません。ドメインかブランド名です
メイン画像は発行元を直接指します
記事リンクはGoogle経由でリダイレクトします!
スニペットは見出しと媒体名を重複させます!
正規URLが必要ならリンクを解決してください。
範囲の設定

どこまでさかのぼり、
どこから見るか。

ニュースのジョブでは2つの設定がほとんどの仕事をします。検索する期間と、検索の起点となるロケールです。

過去1時間 過去1日 過去1週間 過去1か月 過去1年

言語と国は Google Search Scraperと同様に別々の設定です。ドイツ語の媒体が何を 言っているのかを尋ねることも、ドイツ国内で何が報じられているのかを尋ねることもでき、この2つは同じ 問いではありません。対応範囲は全言語・全国です。

1クエリあたり何ページ返すかも設定できます。これが費用を左右する正直なレバーです。 1クエリあたりの深さが増えれば、行数も増えます。

よくある使い方

ここで最もよく実行される
3つの用途

チームがニュース結果をどう使っているかの例をいくつか挙げます。

広報

自社の報道を把握する

自社ブランド、経営陣、製品名を過去1日のフィルターで実行すれば、クリッピングサービスの契約なしに報道記録が手に入ります。sourceと絶対値のdateが全行に返るため、報じられたかどうかだけでなく、どの媒体が扱い、正確にいつだったのかまで分かります。

コミュニケーション · 広報
競合

話題が広がる様子を追う

同じクエリを一定の間隔で再実行すれば、その差分がどの媒体が話題を取り上げ、どの順序だったのかを示します。誰が最初に報じ、誰が続いたのかというこの流れは、記事数よりも多くを語ることがほとんどです。

市場調査
リスク

法域ごとに市場を監視する

国と言語を意図的に設定すれば、同じクエリが特定の法域に絞った監視になります。規制やサプライチェーンの監視に有効です。こうした領域では、現地で報じられる内容が英語圏の報道に先行することがよくあります。

調査 · コンプライアンス
料金

実際に取得した行の分
だけをお支払いください。

サブスクリプションも、最低利用額も、キーワード単位のライセンスもありません。最初の500行は無料。その後は従量課金です。

無料枠

500行無料 - 0ドル

新規アカウントごとに1回限り。クレジットカードは不要です。すべてのスクレイパーが機能制限なしで使えます。監視リストを試し、規模を広げる前に深さを調整するには十分です。

ずっと0ドル
従量課金

無料枠の後は1行0.002ドル

1,000件あたりおよそ2ドルです。実行前の見積もり機能が件数とクレジット費用を開始前に示します。クエリ数×ページ数は急速に増えるため、ここでは確認しておく価値があります。

一番人気
Enterprise

個別対応 · 継続的な監視

大規模な監視リストを短い間隔で回すチーム向けに、ボリュームディスカウント、SLA、専用ワーカー、個別のオンボーディングをご用意します。件数をお知らせいただければお見積もりします。

ご相談ください
初回の有料実行が10%オフ。お支払い時にコードLIVESCRAPER10をご利用ください。
登録する
あわせて使うと便利

同じクエリで、
別の領域を。

ニュースはGoogleが返す領域の1つです。あるテーマを追うチームは、たいてい複数の領域を見ています。

法務の話

ニュース結果
集めるのは合法ですか。

短い答えは、結果ページについては「はい」です。ただし記事そのものについては、区別しておく価値のある点が1つあります。

ニュースの結果ページは公開情報です。Googleはクエリに対する見出し、スニペット、リンクを、ログインの有無を問わず誰にでも表示します。公開されている結果をメディア監視や調査のために収集することは長く確立された実務であり、データが公開されていて処理がサイトを妨げない限り、それを禁じる連邦法はありません。

区別すべき点はこうです。得られるのは見出しとスニペットとリンクであって、記事ではありません。報道を監視すること、言及数を数えること、どの媒体が何を扱ったかを分析すること、スニペットを読むことは通常の利用です。記事を再公開すること、あるいはそこから相当量の本文を再現することは、お客様と発行元との間の著作権の問題であり、リンクはまさに読者が出典へ向かうために存在します。ページがそうでないかのように匂わせるよりは、そう申し上げます。

Googleの利用規約も自動アクセスを制限しているため、これは規約の問題でもあります。私たちはログインやペイウォールの背後にあるものには一切触れず、データ層で第三者のトラッカーを動かすこともなく、エクスポートは30日で自動削除されます。

livescraper.app · 結果と記事
報道の監視は通常の利用です
媒体ごとの言及数を数えるのは通常の利用です
見出しとスニペットの分析は通常の利用です
記事の再公開は発行元が判断することです!
見出し、スニペット、リンクのみ。ペイウォールの内側には触れません。
よくある質問

登録前によく
寄せられる質問。

特によくいただく質問です。ほかにご不明な点があればご連絡ください。回答を書いているのはボットではなく人間です。

Googleニュースの結果を取得するにはどうしますか。+
Google検索ニューススクレイパーを使います。
  1. プラットフォームにサインインします。
  2. Google検索ニューススクレイパーを開きます。
  3. クエリを貼り付けます。1回あたり最大1,000件です。
  4. 言語、国、期間を設定します。
  5. 1クエリあたりのページ数を選びます。
  6. 形式を選び、Get Dataをクリックします。
記事1件につきどんなデータが返りますか。+
7つのフィールドです。querytitlesourcedatelinksnippetimageで、それを見つけ出したクエリ、見出し、掲載媒体、GMTの絶対公開日時、リンク、スニペット、記事のメイン画像にあたります。掲載順位の列はないため、結果の順序が重要ならエクスポートの行順を保持してください。
リンクが発行元に向かわないのはなぜですか。+
linkがGoogleのリダイレクトだからです。すべてのURLは媒体自身のアドレスではなくnews.google.com/rss/articles/…を指します。たどれば記事に解決しますが正規URLではないため、実行をまたいで重複排除することも、ドメインを取り出すこともできません。媒体にはsourceを使い、実際のURLが必要な運用ならリダイレクトを解決してください。
どこまでさかのぼって検索できますか。+
過去1時間、1日、1週間、1か月、1年で絞り込めます。過去1時間と過去1日があることで、単なる検索ではなく監視の道具として使えるようになります。期間を狭く取れば実行は小さく保たれ、結果も本当に新しいものになります。
英語以外のニュースも検索できますか。+
はい。全言語・全国に対応し、この2つは別々の設定です。ドイツ語の媒体が何を言っているのかを尋ねることと、ドイツ国内で何が報じられているのかを尋ねることは別の問いであり、どちらも投げかけられます。
一度に何件のクエリを実行できますか。+
1回の実行につき最大1,000件です。返る各行にはそれを生んだクエリが付与されるため、1回のエクスポートで監視リスト全体をカバーしても、どの結果がどの語のものか分からなくなることはありません。
記事の全文は得られますか。+
いいえ。得られるのは見出し、Googleが表示するスニペット、そしてリンクです。結果ページに含まれるのはそれだけです。スニペットを読んで分析することは通常のメディア監視です。リンクは、記事そのものについてはお客様やその読者が発行元へ向かうために存在します。
料金はいくらですか。+
新規アカウントの最初の500行は1回限り無料です。その後は1行0.002ドル、サブスクリプションなしの従量課金です。クエリ数はページ数と掛け算になる点にご留意のうえ、見積もり機能をご確認ください。数量に応じた料金は料金ページをご覧ください。

監視リストを無料で始める。

新規アカウントごとに1回限りの無料500行、有効期限はありません。その後は1行0.002ドルの従量課金で、お客様が決めるまでカード情報の登録は不要です。

即時有効 · カード不要

Googleニュースの結果を大規模に取得する

LivescraperのGoogle検索ニューススクレイパーは、クエリの一覧を報道データに変えます。監視したい語を貼り付け、1回の実行につき最大千件まで指定し、言語、国、期間を設定し、1クエリあたり何ページ返すかを選び、結果をCSV、JSON、Excelでダウンロードします。

各行は7つのフィールドを持ちます。記事を見つけ出したクエリ、見出し、掲載媒体、公開日時、リンク、スニペット、記事のメイン画像です。実務上の注意が2つあり、聞こえる以上に重要です。日時は相対表記の「3日前」ではなくGMTの絶対タイムスタンプなので、実行時の記録管理なしにエクスポートの日付を無期限に特定できます。そしてリンクは発行元自身のアドレスではなくnews.google.comを指すGoogleのリダイレクトです。たどれば解決しますが正規URLではないため、媒体にはsource列を使い、実際のURLが必要ならリダイレクトを解決してください。

期間フィルターこそが、これを検索から監視へと変えるものです。過去1時間と過去1日は実行を小さく保ち、結果を本当に新しいものにします。それが日次のブランド監視を現実的にします。言語と国は別々の設定なので、ドイツ語の媒体が何を言っているのかを尋ねることと、ドイツ国内で何が報じられているのかを尋ねることは別のクエリです。現地の報道が英語圏の報道に先行することが多い規制やサプライチェーンの監視で役立ちます。

コミュニケーション担当のチームは、ブランド、経営陣、製品の語を過去1日のフィルターで実行し、クリッピングサービスの契約なしに報道記録を得ます。source列がどの媒体がどの話題を扱ったかを示します。競合分析のチームは一定の間隔でクエリを再実行し、その差分から誰がいつ話題を取り上げたのかを読み取ります。絶対日時のおかげでそれが容易になります。返るのは記事本文ではなく、見出し、媒体、日時、画像、リンクです。リンクは読者が発行元にたどり着くために存在します。まずは無料でお試しください。最初の500行は費用がかからず、クレジットカードも不要です。