設定した条件 - 行政区、価格帯、寝室数 - はすべてURLに入っています。アドレスバーからコピーすれば、実行がその検索をそのまま再現します。
1物件につき1行。取得元のクエリが付き、StreetEasyが返した順に番号が振られます。StreetEasyはデータセンターIPを遮断するため、ライブ実行にはレジデンシャルプロキシが必要です。
緯度と経度が独立した列で届くため、エクスポートは受け取った瞬間から地図化できます。ジオコーディングの工程も、住所の突き合わせも、地図にピンを立てるためだけの従量課金も必要ありません。
name は部屋番号を含み - 80 Elizabeth Street #2K - address はそれを除いた建物です。建物を数えるなら一方、部屋を数えるならもう一方でグループ化でき、自分で文字列を分解する必要はありません。
行にはStreetEasyが返した順に番号が振られるため、あなたの条件でサイトが上位に置いた物件を後から復元できます。同じ検索を後日また実行すれば、興味深いのはその変化です。
StreetEasyの検索結果が運ぶもの - 物件がどこにあるか、いくらか、どんな建物にあるか、どのくらいの広さか。
見落とすと痛い列が1つあります。price は数値ではなく、書式化された文字列です。 $820,000 の形で届き、ドル記号と桁区切りのカンマが入っています。この列をそのまま数値に変換すると、すべての行がNaNになります。先に $ とカンマを取り除いてください。ほかの数値項目もすべて文字列です。bedrooms、bathrooms、size_sqft、そして2つの座標も含みます。
絞り込みに使う前に知っておくべき点がもう2つ。building_type は列挙値で、そのうちの1つが UNKNOWN です。 確認できたのは CONDO、CO_OP、HOUSE、TWOFAMILY、UNKNOWN で、命名規則は互いに統一されていません。整形した推測ではなく、文字列を完全一致で比較してください。そして bathrooms には0.5刻みがあります。1.5 と 2.5 のどちらも現れるため、整数として解析するとデータが静かに丸められます。
推測させるより先に、1つ制約をお伝えします。このスクレイパーは売買と賃貸の両方の検索を受け付けますが、当社が保有する値の入ったエクスポートは売買検索から得たものです。したがって $NNN,NNN という価格の形は売買について確認済みであり、賃貸での初回実行時には想定せず確かめてください。またStreetEasyはデータセンターIPを遮断するため、ライブ実行にはレジデンシャルプロキシが必要です。
エクスポートのヘッダー行を、順番どおりに。下で任意と記した項目は、StreetEasyの掲載が何を公開したかを表すものであり、スクレイプの信頼性ではありません。
80 Elizabeth Street #2K のような形です。部屋番号のない物件では address と完全に一致します。$820,000 のように、ドル記号と桁区切りのカンマが入ります。数値に変換する前に両方を取り除いてください - 下の注記を参照。CONDO、CO_OP、HOUSE、TWOFAMILY、UNKNOWN。命名が統一されていない点に注意し、語彙は開いているものとして、文字列を完全一致で比較してください。0 が現れるため、ここでのゼロを欠損値として扱わないでください。1.5 と 2.5 のどちらも現れるため、整数ではなく小数として解析してください。Little Italy や East New York などです。latitude と合わせて、ジオコーディングの工程なしにエクスポートを地図化できます。/sale/<id> のパーマリンクと、/building/<slug>/<部屋> のパスです。落とし穴は1つ。しかも最初に手を伸ばす列です。 price は書式化された文字列 - $820,000 - なので、ドル記号とカンマを取り除かずに変換すると全行がNaNになります。ほかの数値項目もすべて文字列で、2つの座標も含みます。描画や並べ替えの前に型変換してください。列挙値には2つ注意が要ります。 building_type には文字どおりの UNKNOWN が含まれ、メンバーの命名も統一されていないため、文字列を完全一致で比較してください。bathrooms は0.5刻みを含むので小数として解析します。そして name は address ではありません。 前者は部屋番号を含み、後者は含みません。だからこそ建物と部屋を別々に数えられます。position はJSONにしか存在しないため、CSVやXLSXのエクスポートは16列ではなく15列になります。
入力はアドレスバーのStreetEasy URLで、条件はすでにその中に入っています。どちらの検索でも同じ15列、1物件につき1行で返ります。
物件検索が座標付きの表になったとき、何ができるようになるかの例をいくつか。
検索結果を丸ごと取得し、neighborhood と building_type でグループ化します。価格の書式を一度取り除けば、同じ街区のコープとコンドミニアムを、検索ページを目分量で見比べるのではなく数値として比較できます。
緯度と経度が行ごとに届くため、ファイルはそのまま地図に載ります。物件を絵にするうえで通常もっとも時間と費用のかかるジオコーディングの工程が、まるごとなくなります。
同じ検索を定期的に再実行し、ファイルを残しておきます。実行間で url 列を比べれば、何が新しく出て何がなくなったかが分かります。position 列を見れば、順位がどう動いたかも分かります。
サブスクリプションも、最低利用額も、毎月の請求もありません。最初の500行は当社負担です。以降は従量課金で、ここにある他のスクレイパーと同じ一律料金です。
新規アカウントごとに初回限り。クレジットカードは不要です。1クエリあたりの上限、ファイルアップロード、すべての出力形式を含みます。
1,000物件あたり約2ドルです。事前見積もりが、実行前に行数とクレジット消費を表示します。想定外の請求も、換算の必要な計算単位もありません。
多数の検索を定期的に追跡する場合は、ボリューム価格、専用ワーカー、SLAをご用意します。規模をお知らせいただければお見積もりします。
LIVESCRAPER10 をご利用ください。StreetEasyはニューヨークです。この3つがその周辺を埋めます。
簡潔に言えば、これらは公開された不動産広告です。ただしStreetEasyはZillow傘下で、自動取得に対して明確に厳しい姿勢を取っています。流し読みではなく、しっかりお読みください。
ここで取得するものはすべて、ログインの有無にかかわらず誰でも見られる公開のStreetEasy検索結果ページに表示されています。住所、価格、建物種別、寝室数と浴室数、面積、地区、座標、写真です。ログインもペイウォールもなく、アカウントの内側にあるものは何もありません。エクスポートに仲介業者名、仲介業者の電話番号、売主の連絡先は含まれず、そのための列もありません。
後から気づくより先に申し上げます。StreetEasyはデータセンターIPを遮断しています。 これは偶然ではなく意図的な自動化対策であり、規約も自動取得を制限しています。公開物件が秘密になるわけではありませんが、明確な立場が背後にある規約の問題であることは確かです。大量に扱う予定がある場合や、出力の上に製品を構築する場合は、公開データに関する一般則に頼らず、ご自身の用途について助言を求めてください。
データ保護についての注意を1つ。これらの行が記述するのは物件であって個人ではありません。ただし住居の住所は、そこに住む人を識別しうるものです。このエクスポートを居住者を特定する情報と組み合わせた時点で個人データの領域に入り、通常の義務が生じます。当社はデータ層でサードパーティのトラッカーを動かしておらず、エクスポートは30日後に自動削除されます。
最もよくいただく質問です。他にご不明な点は? お問い合わせください - 回答を書くのはボットではなく人間です。
StreetEasyはニューヨークの不動産が掲載される場所であり、そこでの検索は1件ずつしか読めない絞り込みビューです。StreetEasy スクレイパーは、そのビューを行データに変えます。売買または賃貸の検索URL - 行政区、価格帯、寝室数がすでに含まれたもの - を1行に1件ずつ、またはCSV、XLSX、TXT、Parquetのアップロードで送信すると、各物件が住所、部屋番号、価格、建物種別、寝室数と浴室数、平方フィートの面積、地区、ZIPコード、緯度と経度、物件ページと写真へのリンクを持つレコードとして返ります。ファイルでは15列、JSONでは16列、1物件につき1行です。
できることを変えるのは座標です。latitude と longitude が行ごとに届くため、エクスポートは受け取った瞬間から地図化できます。ジオコーディングの工程も、別サービスとの住所突き合わせも、在庫を描画するためだけの従量課金も不要です。これに地区名と建物種別を組み合わせれば、検索結果はリストではなくサブマーケットの姿になります。
土台にする前に注意が必要な列が1つあります。price は数値ではなく書式化された文字列です。 $820,000 の形でドル記号と桁区切りのカンマが入っているため、そのまま変換すると全行がNaNで返ります。先に記号と区切り文字を取り除いてください。同じことが、より目立たない形でほかにも当てはまります。bedrooms、bathrooms、size_sqft、2つの座標はいずれも文字列で、bathrooms には 1.5 のような0.5刻みがあるため、整数ではなく小数として解析してください。
正直にお伝えすべき点が2つ。building_type は列挙値で、その中には文字どおりの UNKNOWN が含まれ、メンバーの命名も統一されていません。整形した推測ではなく文字列を完全一致で比較してください。そして StreetEasyはデータセンターIPを遮断するため、ライブの結果にはレジデンシャルプロキシが必要です。後から気づいてもらうのではなく、ここに書いておきます。無料で始められます。最初の500行は費用もクレジットカードも不要で、その後は1行あたり一律0.002ドルです。