入力は、ふだんならスクロールするページです。いつもどおりCraigslist上で検索を組み立て、その住所を渡してください。
1広告につき1行で、どのクエリから来たかが各行に付き、Craigslistが返した順に番号が振られます。順位がそのまま表計算シートまで残ります。
希望価格と通貨が独立した列で届くため、検索結果は眺めるページではなく分布になります。まずは -1 というセンチネル値に関する注記をお読みください。見落とすと平均値を狂わせる唯一の要素です。
Craigslistは郵便番号ではなく出品者自身が記した地域名で広告を分類しており、それがそのまま返ります。1都市の検索でも地区は幅広く分散するため、ものの供給が実際どこにあるかを見るには十分な粒度です。
行は掲示板が返した順に番号が振られて届くため、繰り返し実行すれば何が動いたか分かります。手作業のコピー&ペーストで必ず失われるのが、この順序です。
掲示板が各広告について表示する内容です。何であるか、いくらなのか、出品者が主張する状態、どこにあるか、そしてどこへ見に行けばよいか。
このうち2列は、それを前提に作り込む前に知っておくべき挙動をします。だから落とし穴として放置せず、表の中で明示しています。price は文字列で、価格が未記載であることを -1 で表します。素直に数値へ変換すると、あらゆる平均値が下に引っ張られます。そして description は500文字で打ち切られたプレビューであり、広告全文ではありません。それより長い本文は、まさにその長さで単語の途中から途切れます。
列の構成、センチネル値、打ち切りはエクスポートの性質であり、どんなクエリでも当てはまります。任意項目にどれだけ値が入るかは別の話で、こちらはカテゴリ、対象とする掲示板、取得する行数によって変わります。
エクスポートのヘッダー行を、順番どおりに。下で任意と記した項目は、Craigslistの出品者が何を埋めるかを表すものであり、スクレイプの信頼性ではありません。値が入る頻度は、掲示板、カテゴリ、実行の規模によって変わります。
落とし穴は2つ。どちらも知ってさえいれば簡単に避けられます。 price は文字列で、「価格未記載」を表すセンチネル値 -1 を含みます。列を変換して平均を取ると、静かに下振れします。先に除外してください。そして description は500文字のプレビューであって広告そのものではありません。それより長い本文は、ちょうどその長さで、単語の途中で終わります。さらに position はJSONにしか存在しないため、CSVやXLSXのエクスポートは10列ではなく9列になります。condition はスクレイプの取りこぼしではなくCraigslist上で本当に任意の項目で、出品者が自分で設定するかどうかを選びます。
掲示板ごと取りたいなら検索結果ページを、対象が決まっているなら個別の広告を指定してください。どちらも同じ9列で返ります。
問い合わせ可能なクラシファイド掲示板が何の役に立つのか、いくつか例を挙げます。
自分が扱う品の広告をすべて取得し、価格列をフィードではなく分布として読みます。価格なしの行を除外すれば、良い買い物と悪い買い物の差は勘ではなくなります。
地区の列は、1都市の検索を供給の地図に変えます。引き取りに行く価値があるか、午後を無駄にするかの違いが街のどちら側かで決まる場合に役立ちます。
同じ検索を定期実行すれば、各エクスポートが日付入りのスナップショットになります。件数、価格帯、状態の分布。中古の供給と価格は速く動くため、1回の実行では見えません。
サブスクリプションも、最低利用額も、毎月の請求もありません。最初の500行は当社負担です。以降は従量課金で、ここにある他のスクレイパーと同じ一律料金です。
新規アカウントごとに初回限り。クレジットカードは不要です。1クエリあたりの上限、ファイルアップロード、すべての出力形式を含みます。
1,000広告あたり約2ドルです。事前見積もりが、実行前に行数とクレジット消費を表示します。想定外の請求も、換算の必要な計算単位もありません。
多数の掲示板で多数の検索を定期的に追跡する場合に向けて、ボリューム価格、専用ワーカー、SLAをご用意します。規模をお知らせいただければお見積もりします。
LIVESCRAPER10 をご利用ください。中古価格は、別の数字と並べて初めて意味を持ちます。この2つがその数字を用意します。
短い答え: 広告は公開されています。ただしCraigslistは自社の掲載物を多くのサイトより強く保護しており、規模を拡大する前にそれを知っておくべきです。
ここで収集される内容はすべて、ログインの有無にかかわらず誰でも見られる公開のCraigslistページに表示されています。タイトル、希望価格、出品者が選んだ状態、出品したエリア、写真、説明文。ログインも、有料の壁も、アカウントの内側にあるものもありません。エクスポートのどこにも出品者名、電話番号、メールアドレスはなく、その列も存在しません。
後から気づかれるより先にお伝えします。Craigslistは過去、自社広告の自動収集に対して同種のサイトより積極的に対処してきており、利用規約もそれを制限しています。公開データが秘密になるわけではありませんが、これは実際の経緯を伴う規約上の問題です。大量に実行する予定がある場合、あるいは出力の上に製品を築く場合は、一般論に頼らず、ご自身の具体的な用途について助言を得てください。
当社はデータ層でサードパーティのトラッカーを動かしておらず、エクスポートは30日後に自動削除されます。
最もよくいただく質問です。他にご不明な点は? お問い合わせください - 回答を書くのはボットではなく人間です。
LivescraperのCraigslistスクレイパーは、クラシファイド検索をデータセットに変えます。Craigslistの検索URLまたは個別の広告URLを送信し - 1行に1件ずつ入力するか、CSV、XLSX、TXT、Parquetファイルでアップロードします - 必要なら1クエリあたりの上限を設定し、結果を整ったCSV、Excel、JSONファイルとしてダウンロードします。1広告につき1行で、掲示板が返した順に番号が付きます。
各行には、出品者が書いたままの広告タイトル、希望価格とその通貨、設定されていれば選択された商品状態、出品されたエリア、広告へのリンク、写真、説明文のプレビューが入ります。ファイル上は9列で、JSONには結果の順位を持つ10列目が加わります。
転売業者は自分が扱う品の広告をすべて取得し、価格をフィードではなく分布として読みます。オペレーションチームは地区の列を使い、1都市の検索を供給が実際どこにあるかの地図に変えます。調査担当は同じ検索を定期実行します。中古価格は速く動き、単発のスナップショットでは傾向が見えないからです。
このエクスポートを相手にコードを書く前に知っておきたい性質が2つあります。価格の列は文字列で、価格が未記載であることを-1で表すため、素直に変換すると計算するすべての平均が下方向にずれます。まずその行を除外してください。そして説明文は500文字で打ち切られ、上限で単語の途中から切れるプレビューであって、出品の全文ではありません。無料で始められます。最初の500行は費用もクレジットカードも不要で、その後は1行あたり一律0.002ドルです。