Livescraper Google Mapsデータスクレイパー
Google MapsデータスクレイパーはLivescraperが提供する最も人気のあるWebスクレイパーの1つであり、Google Mapsからデータをスクレイピングするのに特に役立ちます。
Livescraperでは毎日数百万のデータスクレイピングタスクが実行されており、そのうち数千がGoogle Mapsスクレイピングに特に関連しています。
Google Mapsデータスクレイパーを使用する際に不要なデータを取得しないようにするには、パラメータとフィルターを正しく設定することが重要です。当社では、このトピックに関する「How to Scrape Google Maps?」というメインのチュートリアルをお読みいただくことをお客様にお勧めしています。
基本パラメータを正しく設定したら、要件に基づいていくつかのフィルターを追加する必要があります。正しい出力を取得していることを確認するために、必要なパラメータで小さなテストタスクを作成し、結果を確認することができます。フィルターは結果ファイルを絞り込むことができ、以下に役立つフィルターをいくつかご紹介します。
Google Mapsデータスクレイパーサービスにフィルターを使う必要があるのはなぜか?
Google Mapsは、人々が場所や道順を見つけるのに役立つ人気のオンラインサービスです。Google Mapsの機能の1つは、ユーザーが検索するカテゴリーやキーワードに近い結果を表示することです。
たとえば、ユーザーが「Accountant in Los Angeles」と検索すると、Google MapsはAccountantだけでなく、Accounting FirmsやCertified public accountantsなどの類似サービスを提供する他の場所も表示します。これは、Google Mapsがユーザーにより多くの選択肢と代替案を提供することで、簡単で便利なユーザー体験を提供しようとしているからです。
Accountant near Los Angeles, CA, USA – Google Maps
この状況は、必然的にスクレイピングしたい結果を変える可能性があります。なぜなら、LivescraperのGoogle Mapsデータスクレイパーは、Google Mapsが検索クエリに対して表示する結果をスクレイピングするサービスだからです。
Google MapsはAccounting FirmsやCertified public accountantsをクエリの結果に表示するため、これらの結果もスクレイピングタスクの結果ファイルに表示されます。そのクエリを使用して、LivescraperのGoogle Mapsデータスクレイパーで確認することができます。
これらの特定の指示で何かを検索すると、結果は次のように表示されます
こちらが、フィルターなしでデータをスクレイピングしたファイルです:Accountant Data.xlsx
LivescraperのGoogle Mapsスクレイパーから取得した結果は、Google MapsのWebページに表示されているものと似ていることに気付くかもしれません。しかし、検索結果は様々な種類のビジネスが混在しており、あなたはAccountantに関する情報のみを集めたいと考えています。不要な結果を除外するには、「Advanced Filters」オプションを使用できます。
subtypeの高度なフィルターを適用することで、欲しい正確な結果を取得することができます。
このフィルターを適用することで、subtypeに具体的にaccountantsを含む結果を取得することができました。その結果、accounting firmsまたはcertified public accountantsに分類されたエントリーは結果から削除されました。
こちらが、フィルターを使用してデータをスクレイピングしたファイルです:Accountant Data with subtype filters.xlsx。
完全一致カテゴリーのみをスクレイピングする
Google Mapsデータスクレイパーサービスの「Exact match」オプションボックスは、ユーザーがシンプルにフィルタリングできる機能です。「Exact match」オプションボックスをクリックすると、Livescraperは上記の例のようにsubtypeフィルターを素早く生成します。
この機能は英語でのみ動作することに注意してください。他の言語では、フィルタリングを手動で行う必要があります。
上記の例のようなシンプルなフィルタリングが必要なら、「Exact match」オプションボックスで十分です。異なる詳細なフィルタリングを行う必要がある場合は、高度なフィルターを詳しく見る必要があります。
高度なフィルターの使い方は?
高度なフィルタリング設定は、「Advanced parameters (language, filter, limit per query, columns, etc.)」というテキストをクリックすることでアクセスでき、そこで言語、さまざまなフィールド、オペレーターを設定できます。
フィルター
ユーザークエリに基づいてGoogle Mapsからデータをスクレイピングするサービスである、Google Mapsデータスクレイパーのさまざまなフィルターの使い方。主なポイントは次のとおりです:
– フィルターは、結果から無関係なデータや重複データを避けるのに役立ちます。
– フィルターは、subtypes、type、city、postal code、state、site、phone rating、business status、verifiedなどのさまざまなフィールドに適用できます。
– フィルターは、フィルタリングの基準を指定するために「contains one of」「contains none of」「starts with」「equals」「is blank」「is not blank」などのさまざまなオペレーターを使用できます。
Subtypes
すべてのビジネスにはGoogle Maps上でのカテゴリーとtypeがあり、それをより具体的に説明する複数のsubtypesもあります。
以下は、subtypeフィルターの利点を示す結果です。
一部のビジネスは、提供する様々なサービスを説明する複数のsubtypesを記載していることがあります。たとえば、「Friseursalon」(ヘアサロン)が「Fußpflege」(フットケア)、「Nagelstudio」(ネイルサロン)、「Damen- und Herrenfriseur」(女性および男性向け美容師)のサービスも提供している場合があります。これらのsubtypesを見ることで、あなたが関心を持っているサービスを提供する特定のビジネスを見つけて集中することができます。これは、特定のタイプのビジネスを探している場合や、特定のビジネスにマーケティング活動をターゲティングしようとしている場合に役立ちます。
Site
Google Mapsでビジネスを検索する際、LivescraperはWebサイトを持つビジネスのみ、またはWebサイトを持たないビジネスのみを表示できるフィルターオプションを提供します。つまり、Webサイトを持たないビジネスのリストを表示したい場合、それを選択できます。
Livescraperツールが提供するフィルターには、「is not blank」と「is blank」の2つの選択肢があります。「is blank」オプションを選択すると、Webサイトを持たないビジネスのみが結果ファイルに含まれます。一方、「is not blank」オプションを選択すると、Webサイトを持つビジネスのみが結果ファイルに含まれます。つまり、この2つのオプションは、Webサイトの有無に基づいてビジネスをフィルタリングします。
クエリ:Real estate agency, Los Angeles, CA, United States
例のクエリでは、一部のビジネスはGoogle MapsプロフィールにWebサイトのURLを記載していますが、他のビジネスは記載していません。このフィルターを使用することで、この2種類のビジネスを区別し、Webサイトを持つビジネスと持たないビジネスの別々のリストを生成することが可能になります。これは、市場調査や潜在的なビジネス機会の特定など、さまざまな目的に役立ちます。
フィルターパラメータを「is blank」に適用することで、Livescraperを使ってWebサイトを持たないビジネスのみを抽出するタスクを作成できます。このタスクはGoogle Mapsをスクレイピングし、プロフィールにWebサイトのURLを記載しているすべてのビジネスを除外します。結果として得られるリストには、Webサイトを持たないビジネスのみが含まれ、これをエクスポートしてさらなる分析や調査に使用できます。
タスクの結果ファイルには、「is blank」オペレーターが選択されたため、Webサイトを持たないビジネスのみがリストされます。代わりに「is not blank」が選択された場合、Webサイトを持つビジネスのみが表示され、Webサイトを持たないものは除外されます。オペレーターの選択はタスクの結果に影響を与えるので、調査の目的に合わせる必要があります。
Rating
「rating」フィルターは、特定のratingを持つGoogle Placesのみを抽出する必要がある場合のGoogle Mapsスクレイピングで使用できます。このフィルターを使うと、ユーザーがratingの最小値と最大値を指定でき、スクレイピングツールが指定したrating基準を満たさないすべての場所を除外します。
クエリ:Restaurant, Houston, TX, United States
ratingフィルターを使うと、特定のratingを持つレストランをGoogle Mapsからスクレイピングする際に時間とコストを節約できます。ratingの最小値と最大値を3のratingを持つレストランのみを含むように設定することで、フィルターは他のすべてのratingを除外できます。これにより、関連するデータのみがスクレイピングされ、タスクがより効率的かつ効果的になります。
フィルターを選択した後、直接タスクを作成できます。
Google Mapsスクレイピングで「starts with」オペレーターと「rating」フィールドフィルターを使うことで、ratingが3のビジネスを抽出でき、無関係な結果を除外することで時間とデータクリーニングの労力を節約できます。
Phone
場合によっては、ビジネスがGoogle My Businessアカウントに電話番号を登録していないことがあり、結果としてGoogle Maps上で電話番号が表示されないことがあります。Google Mapsデータスクレイパータスクを作成すると、電話番号を持たないビジネスも結果に含まれる可能性があります。結果に電話番号を持つビジネスのみを含めるには、「Phone」フィルターと「is not blank」オペレーターを使用できます。これにより、電話番号を持たないすべてのビジネスが除外され、結果のリストには、プロフィールに電話番号が記載されているビジネスのみが含まれます。
Google Mapsデータスクレイパータスクで「Phone」フィルターと「is not blank」オペレーターを使うと、電話番号を持たないビジネスを除外でき、プロフィールに電話番号が記載されたビジネスのみのリストを得ることができます。
Business Status
Google Mapsは、一時休業のビジネスを表示します。
Google Mapsからデータをスクレイピングする際、一時的に休業しているビジネスのステータスは、結果データファイルの「business_status」カラムで確認できます。
現在「OPERATIONAL」ステータスのビジネスのみを抽出するには、Google Mapsスクレイパーツールで「contains one of」オペレーターを使うことができます。このオペレーターを使うと、「business_status」フィールドの検索パラメータを「OPERATIONAL」として指定でき、ツールはこの基準に一致しないすべてのビジネスを除外します。出力データファイルには、現在運用中とマークされているビジネスのみが含まれます。
Verified
Google Maps上でGoogle for Businessの登録によって検証されていないビジネスには、「Claim this business」と表示されることがあります。検証されていないビジネスは、情報が不正確である可能性があり、Google上の特定の機能へのアクセスが制限される場合があります。
LivescraperのGoogle Mapsデータスクレイパーツールを使うと、ビジネスが検証済みか未検証かのステータスを結果ファイルの「verified」カラムで確認できます。
Google Mapsスクレイパーツールで検証済みビジネスのデータのみを抽出するには、「verified」フィールドフィルターを「Yes」に、「contains one of」オペレーターを使用してください。これにより、すべての未検証ビジネスが除外され、結果データファイルに検証済みビジネスの情報のみが含まれることが保証されます。
Google Mapsで未検証ビジネスのデータを表示するには、スクレイパーツールで「verified」フィールドフィルターを「No」または「FALSE」に設定して、すべての検証済みビジネスを除外してください。
Postal Code
Google Mapsでは、ロケーションを選択するのは一般的ですが、より高度なフィルタリングを行うには、スクレイパーツールで「contains one of」「contains none of」「starts with」「is not blank」のオペレーターを使って検索結果を絞り込みましょう。
Google Mapsスクレイピングでの高度なフィルターの使い方を学んだ後、まず小さなタスクを作成してフィルターをテストすることが重要です。これにより、より大きなロケーション選択での大きなタスクを作成する前に、データの正確性と関連性をチェックできます。フィルターを小さなタスクでテストすることで、それらが期待通りに機能していることを確認し、必要に応じて調整することができます。小さなタスクの結果に満足したら、より複雑な検索条件で自信を持ってより大きなタスクを作成できます。
FAQ
Q:Livescraper Google Mapsデータスクレイパーとは何ですか?
A:Livescraper Google Mapsデータスクレイパーは、Livescraperが提供するWebスクレイピングサービスで、Google Mapsからのデータスクレイピングに特化しています。
Q:Google Mapsデータスクレイパーにフィルターを使うのが重要なのはなぜですか?
A:Google Mapsデータスクレイパーにフィルターを使うことは、不要なデータを取得しないようにし、正しい出力を得られるようにするために重要です。フィルターは結果から無関係なデータや重複データを避けるのに役立ち、subtypes、type、city、postal code、state、site、phone rating、business status、verifiedなどのさまざまなフィールドに適用できます。
Q:Google Mapsデータスクレイパーで使用できるフィルターの例にはどのようなものがありますか?
A:Google Mapsデータスクレイパーで使用できるフィルターの例には、subtypeフィルター、siteフィルター、ratingフィルター、phoneフィルター、business statusフィルターなどがあります。
Q:Google Mapsデータスクレイパーでsubtypesフィルターはどう使えますか?
A:subtypeフィルターを使うと、関心を持つサービスを提供する特定のビジネスを見つけて集中することができます。これらのsubtypesを見ることで、特定のタイプのビジネスを見つけたり、マーケティング活動を特定のビジネスにターゲティングしたりできます。
Q:Google Mapsデータスクレイパーでratingフィルターはどう使えますか?
A:ratingフィルターを使うと、特定のratingを持つGoogle Placesのみを抽出できます。これにより、関連するデータのみがスクレイピングされ、タスクがより効率的かつ効果的になります。
Q:Google Mapsデータスクレイパーでbusiness statusフィルターはどう使えますか?
A:business statusフィルターを使うと、現在「OPERATIONAL」ステータスのビジネスのみを抽出できます。これにより、出力データファイルには現在運用中とマークされているビジネスのみが含まれることが保証されます。
Q:小さなタスクを最初に作成してフィルターをテストすることが重要なのはなぜですか?
A:最初に小さなタスクを作成してフィルターをテストすることで、より大きなロケーション選択での大きなタスクを作成する前に、データの正確性と関連性をチェックできます。フィルターを小さなタスクでテストすることで、それらが期待通りに機能していることを確認し、必要に応じて調整することができます。