Cole uma URL de busca de venda ou aluguel do StreetEasy e receba todos os anúncios dela como linhas: o endereço com e sem a unidade, o preço, o tipo de edifício, quartos e banheiros, a área, o bairro e o CEP, latitude e longitude, e os links para o anúncio e a foto.
Cada filtro que você define - distrito, faixa de preço, número de quartos - já está codificado na URL. Copie da barra e a execução reproduz aquela busca.
Uma linha por anúncio, marcada com a consulta de onde veio e numerada na ordem em que o StreetEasy a devolveu. O StreetEasy bloqueia IPs de datacenter, então execuções ao vivo precisam de um proxy residencial.
Latitude e longitude chegam como colunas próprias, então a exportação é mapeável assim que cai - sem passada de geocodificação, sem casamento de endereços e sem conta por linha só para colocar pontos num mapa.
name carrega a unidade - 80 Elizabeth Street #2K - enquanto address é o edifício sem ela. Agrupe por um para contar edifícios e pelo outro para contar unidades, sem quebrar strings você mesmo.
As linhas chegam numeradas na ordem em que o StreetEasy as devolveu, então o que o site colocou em primeiro para os seus filtros dá para recuperar depois. Rode a mesma busca mais tarde e o movimento é a parte interessante.
O que um resultado do StreetEasy carrega: onde o imóvel fica, quanto custa, em que tipo de edifício está e qual o tamanho.
Uma coluna vai te morder se você não reparar. price é uma string formatada, não um número - chega como $820,000, com cifrão e separadores de milhar incluídos. Converta essa coluna direto para número e você recebe NaN em todas as linhas; tire antes o $ e as vírgulas. Todo o resto numérico também é string, incluindo bedrooms, bathrooms, size_sqft e as duas coordenadas.
Mais duas coisas para saber antes de filtrar por elas. building_type é um enum, e um dos valores é UNKNOWN - vimos CONDO, CO_OP, HOUSE, TWOFAMILY e UNKNOWN, e a nomenclatura não é consistente entre eles, então compare a string exata e não uma versão arrumada. E bathrooms traz meios: 1.5 e 2.5 aparecem, então um parse para inteiro vai arredondar os seus dados em silêncio.
Uma limitação que preferimos dizer a deixar que você suponha. O extrator aceita buscas de venda e de aluguel, mas a exportação com dados que temos veio de uma busca de venda - então o formato de preço $NNN,NNN está confirmado para vendas, e vale conferir na sua primeira execução de aluguel em vez de presumir. E como o StreetEasy bloqueia IPs de datacenter, uma execução ao vivo precisa de um proxy residencial.
A linha de cabeçalho da exportação, em ordem. Quando um campo aparece como opcional abaixo, isso descreve o que um anúncio do StreetEasy publicou - não a extração.
80 Elizabeth Street #2K. Quando um imóvel não tem unidade, é idêntico a address.$820,000, com cifrão e separadores de milhar. Tire os dois antes de converter para número - veja a nota abaixo.CONDO, CO_OP, HOUSE, TWOFAMILY e UNKNOWN. Note a nomenclatura inconsistente e trate o vocabulário como aberto - compare a string exata.0 aparece, então não trate um zero aqui como valor ausente.1.5 e 2.5 aparecem, então faça parse como decimal e não como inteiro.Little Italy ou East New York.latitude, isso torna a exportação mapeável sem passo de geocodificação./sale/<id> e um caminho /building/<slug>/<unidade>.Uma armadilha, e é a primeira coluna que você vai querer usar. price é uma string formatada - $820,000 -, então convertê-la sem tirar o cifrão e as vírgulas dá NaN em tudo. Todos os outros campos numéricos também são strings, incluindo as duas coordenadas, então converta antes de plotar ou ordenar. Fique de olho em dois enums: building_type inclui um UNKNOWN literal e seus membros têm nomes inconsistentes, então compare strings exatas; e bathrooms traz meios, então faça parse como decimal. E name não é address - o primeiro carrega a unidade, o segundo não, e é isso que permite contar edifícios e unidades separadamente. position existe só no JSON, então uma exportação CSV ou XLSX tem quinze colunas e não dezesseis.
A entrada é a URL do StreetEasy da sua barra de endereços, com os seus filtros já embutidos. Os dois tipos de busca voltam nas mesmas quinze colunas, uma linha por anúncio.
Alguns exemplos do que vale uma busca imobiliária quando ela é uma tabela com coordenadas junto.
Extraia uma busca inteira e agrupe por neighborhood e building_type. Tire a formatação do preço uma vez e dá para comparar uma cooperativa com um condomínio no mesmo quarteirão, em vez de estimar no olho por uma página de resultados.
Latitude e longitude chegam por linha, então o arquivo entra direto num mapa. Isso elimina totalmente o passo de geocodificação - em geral a parte mais lenta e mais cara de transformar anúncios em imagem.
Rode a mesma busca periodicamente e guarde os arquivos. Comparar a coluna url entre execuções diz o que é novo e o que saiu - e a coluna position, como o ranqueamento se mexeu.
Sem assinatura, sem mínimo, sem fatura recorrente. Suas primeiras 500 linhas são por nossa conta - depois, pagamento por uso, à mesma tarifa fixa de qualquer outro extrator daqui.
Em toda conta nova, uma única vez. Sem cartão de crédito. Limites por consulta, upload de arquivo e todos os formatos de exportação inclusos.
Cerca de US$ 2 por 1.000 anúncios. O estimador prévio mostra o número de linhas e o custo em créditos antes de a execução começar - sem cobranças surpresa e sem unidades de computação para converter.
Preço por volume, workers dedicados e um SLA para acompanhar muitas buscas de forma programada. Conte seus números e enviamos uma proposta.
LIVESCRAPER10 no checkout.O StreetEasy é Nova York. Estes três cobrem o entorno.
O mesmo trabalho no portal imobiliário alemão - anúncios, preços e endereços como linhas. Útil se a sua pesquisa abrange o mercado de mais de um país.
O outro lado do mercado de aluguel de Nova York - os anúncios que nunca chegam a um site de imobiliárias. Estoque diferente, mesma cidade, e vale ter ao lado deste.
O que realmente existe em volta de uma coordenada - escolas, transporte, mercados. Como esta exportação já traz latitude e longitude, o cruzamento entre os dois é trivial.
Resposta curta: esses anúncios são publicidade imobiliária pública - mas o StreetEasy é da Zillow e adota uma posição firme sobre coleta automatizada, então leia isto em vez de passar o olho.
Tudo o que é coletado aqui aparece numa página pública de resultados do StreetEasy para qualquer visitante, logado ou não: o endereço, o preço, o tipo de edifício, o número de quartos e banheiros, a área, o bairro, as coordenadas e a foto. Sem login, sem paywall, nada atrás de uma conta. Não há nome de corretor, telefone de imobiliária nem contato do vendedor na exportação, e nem coluna para isso.
Preferimos sinalizar isto a deixar você descobrir depois. O StreetEasy bloqueia IPs de datacenter, o que é uma medida antiautomação deliberada e não um acaso, e os termos deles restringem a coleta automatizada. Isso não torna anúncios públicos secretos, mas faz disto uma questão de termos com uma posição real por trás. Se você planeja volume, ou construir um produto em cima do resultado, busque orientação para o seu caso específico em vez de se apoiar numa regra geral sobre dados públicos.
Uma nota de proteção de dados. Estas linhas descrevem imóveis, não pessoas - mas o endereço de uma residência é capaz de identificar quem mora nela, então se você combinar esta exportação com algo que nomeie os ocupantes, entrou em terreno de dados pessoais e as obrigações de sempre passam a valer. Não rodamos rastreadores de terceiros na camada de dados, e suas exportações se apagam sozinhas após 30 dias.
As perguntas que mais ouvimos. Mais alguma coisa? Fale conosco - quem escreve as respostas são humanos, não bots.
Suas primeiras 500 linhas são grátis - sem cartão, sem assinatura. Depois são US$ 0,002 por linha, tarifa fixa.
O StreetEasy é onde o mercado imobiliário de Nova York é anunciado, e uma busca nele é uma visão filtrada que você só consegue ler cartão a cartão. O Extrator do StreetEasy transforma essa visão em linhas. Você envia uma URL de busca de venda ou aluguel - com o seu distrito, faixa de preço e número de quartos já codificados nela, uma por linha ou como upload CSV, XLSX, TXT ou Parquet - e cada anúncio volta como um registro com o endereço, a unidade, o preço, o tipo de edifício, o número de quartos e banheiros, a área em pés quadrados, o bairro, o CEP, latitude e longitude, e os links para o anúncio e a foto. Quinze colunas no arquivo, dezesseis no JSON, uma linha por anúncio.
As coordenadas são o que muda o que dá para fazer com isso. Como latitude e longitude chegam por linha, a exportação é mapeável assim que cai - sem passada de geocodificação, sem casar endereços com um segundo serviço, sem conta por linha só para plotar o estoque. Junte isso ao rótulo de bairro e ao tipo de edifício e uma busca vira um retrato de um submercado em vez de uma lista.
Uma coluna pede cuidado antes de você construir em cima. price é uma string formatada, não um número: chega como $820,000 com cifrão e separadores de milhar, então convertê-la direto devolve NaN em todas as linhas. Tire antes o símbolo e os separadores. O mesmo vale, mais discretamente, para o resto - bedrooms, bathrooms, size_sqft e as duas coordenadas são todas strings, e bathrooms traz meios como 1.5, então faça parse como decimal e não como inteiro.
Duas notas honestas. building_type é um enum cujos valores incluem um UNKNOWN literal, e seus membros têm nomes inconsistentes, então compare strings exatas em vez de um palpite arrumado. E o StreetEasy bloqueia IPs de datacenter, então resultados ao vivo precisam de um proxy residencial - dito aqui em vez de deixado para descobrir. Comece grátis: suas primeiras 500 linhas não custam nada e não pedem cartão, e depois são US$ 0,002 por linha, tarifa fixa.