入力は、いま見ているその OLX の検索そのものです。見ている国別サイトのままで構いません。
1 件の広告につき 1 行で、それぞれどのクエリから来たかのラベルが付きます。複数の国にまたがる実行でも、入力リストまで遡って追跡できます。
OLX は多くの国別サイトを運営していますが、これは 1 つのフォームからそのすべてを読みます。ルーマニアの検索とポーランドの検索を続けて貼り付けても、両方が同じ形で返ります。
市・州・地区にそれぞれ専用の列があり、名称の隣に ID も付きます。分解が必要な 1 本の文字列で届くのではありません。結合済みの文字列も、必要なら残っています。
専用の列が、その広告が個人売買か販売業者かを示します。価格系列が消費者市場を測っているのか業者市場を測っているのかを決めるのは、まさにこの区別です。
各行は OLX の検索結果が見せているとおりの広告を運びます。タイトルと説明、価格とその通貨、分解された所在地、出品者とアカウントの古さ、すべての画像、そして出品へのリンク。
下の列一覧は実際の実行のヘッダー行であり、仕様書ではありません。これを土台にする前に、その下の注記を読んでください。この出力には人がつまずく癖が 3 つあり、そのうち 1 つは、検索した国から通貨を推測すると価格比較を静かに壊します。
実際の実行のヘッダー行から取ったもので、プラットフォームの列一覧と一致します。JSON もワークブックも同じ名前を使っており、ここではどの形式も他より狭いということはありません。
business の写しとして扱わないでください。両者はどちらの向きにも確実には連動しません。yes と no。YYYY-MM-DD 形式。その人がどれだけ定着しているかのおおまかな手がかりになります。url と同一でした。両者は重複ペアなので、片方を採ってもう片方は無視してください。yes と no。"; " で分割するとリストになります。YYYY-MM-DD 形式。実行日から逆算する必要のない、本物の日付です。listing_url の重複です。images の先頭エントリと同じ値です。150 000 km · 2022 のように返ります。カテゴリによって形が変わり、末尾に空白が付いていますので、解析前にトリムしてください。この出力には人をつまずかせる癖が 3 つあります。第一に、そして最も高くつくのが、currency は行ごとに読む必要があるという点です。1 つの国別サイトでの 1 回の検索が複数の通貨の価格を返しました。ドメインから通貨を決め打ちする価格系列は、静かに単位を混ぜてしまいます。第二に、images はセミコロンと空白でつないだ文字列であって配列ではありません。"; " で分割してください。image はその先頭エントリにすぎません。第三に、確認したすべての行で url と listing_url は同一であり、結合済みの location と分割済みの市・州の列も同様でした。28 列のうち複数は同じ事実の二重掲載です。もう 1 つ、パーサーを書く前に。details はカテゴリによって形の変わる自由テキストで末尾に空白が付き、company_name は business フラグとどちらの向きにも確実には連動しません。
クエリごとの上限が、1 回の実行の費用とファイルに入る量を決めます。検索リストの渡し方と合わせて、ジョブを開始する前に選びます。
チームがクラシファイドのデータを使って、実際に抱えている問いに答えている例をいくつか。
OLX は多くの国を 1 つの出力形式でカバーするため、同じ検索を複数の国別サイトに走らせれば、国をまたぐ価格の全体像が 1 つのファイルにまとまります。ドメインではなく通貨列を使って換算すれば、比較は崩れません。
事業者フラグは、1 つのカテゴリを消費者市場と業者市場に割ります。両者は価格でも回転でも動きが違い、まとめて平均すると両方とも見えなくなります。
市・州・地区が ID 付きの独立した列で届くので、地理的な集計を文字列の切り貼りから始めずに済みます。正規化された名称で結合すれば、現地の綴りの揺れも問題になりません。
サブスクリプションも、最低利用額も、毎月の請求もありません。最初の 500 行は当社負担です。その後は従量課金で、ここにある他のスクレイパーとまったく同じ均一料金です。
新規アカウントごとに初回 1 回。クレジットカード不要。クエリごとの上限、ファイルアップロード、すべての書き出し形式を含みます。
1,000 件の広告でおよそ 2 ドル。事前の見積り表示が、実行を開始する前に行数とクレジット費用を示します。想定外の請求も、換算の必要な計算ユニットもありません。
継続的なモニタリングや非常に大きな過去データの取得のための、ボリューム料金、専用ワーカー、SLA。ご要望の規模をお知らせいただければお見積りします。
LIVESCRAPER10 をご利用ください。短い答えは「はい」です。公開されている広告の内容については。そしてこの出力は多くのものより出品者の情報を多く含むため、計画が要ります。
OLX の広告は、見つけてもらうために公開されています。タイトル、説明、価格、所在地、画像、出品者の表示名は、ログインしていてもいなくても、その検索を実行した誰にでも表示されます。公開されている広告データを価格調査のために収集することは長く確立された実務であり、ここではログインも有料の壁も一切触れていません。
このスキーマは、価格だけを取るスクレイピングよりも出品者に関する情報を多く含みます。表示名、アカウント ID、アカウント作成日、事業者フラグ、それに商号と電話番号の列です。OLX は EU で非常に大きいため、GDPR は公開されていたという事実にではなく、その後にあなたが何をするかに適用されます。ここから 2 つの帰結が出ます。関心が価格と供給にあるなら、取り込み時に出品者の列を捨ててください。そうすればこの問題はあなたのものではなくなります。残すのであれば、個々の実行が何を返すかにかかわらず、電話番号の列は原則として個人データとして扱ってください。
OLX 自身の利用規約は自動アクセスを制限しているため、これは法律の問題であると同時に規約の問題でもあります。プラットフォームと契約関係がある場合は確認してください。当社はデータ層でサードパーティのトラッカーを一切動かしておらず、書き出したファイルは 30 日で自動的に削除されます。
最もよくいただく質問です。ほかにもあれば ご連絡ください - 回答を書いているのはボットではなく人間です。
Livescraper の OLX スクレイパーは、マーケットプレイスの検索を掲載データに変えます。OLX が展開しているどの国の検索 URL でも送信でき - 1 行に 1 件ずつ入力するか、CSV、XLSX、TXT、Parquet ファイルとしてアップロードします - 必要ならクエリごとに行数を制限し、結果をきれいな CSV、Excel、JSON としてダウンロードできます。
各行は OLX の検索結果が見せているとおりの広告を、28 列にわたって運びます。ID、タイトルと説明、価格とそれが表示されている通貨、掲載日、すべての画像、出品へのリンク、表示名と正規化名の両方を持つ市・州・地区の別々の列、そして出品者の表示名、アカウント ID、アカウントの古さ、事業者フラグ。そのすべてが JSON だけでなくワークブックにも入ります。
価格戦略チームは、1 つの検索を複数の国別サイトに走らせて、国をまたぐ全体像を 1 つのファイルに作ります。戦略チームは事業者フラグを使って、1 つのカテゴリを個人側と業者側に割ります。両者は動きが違い、まとめて平均すると誤った像になります。調査に携わる人は、分割された所在地の列を使って、文字列を切り貼りせずに地区から州へと供給を集計します。
これを土台にする前に知っておくべき癖が 3 つあります。通貨は行ごとに読む必要があります。1 つの国別サイトでの検索が複数の通貨を返したため、ドメインから推測すると数値が狂います。images 列は配列ではなくセミコロンでつないだ文字列です。そして複数の列が同じ事実の二重掲載です。確認したすべての行で url と listing_url は一致し、image と images の先頭エントリも同様でした。無料で始められます。最初の 500 行は費用もクレジットカードも不要で、その後は 1 行 0.002 ドルの均一料金です。