Extrair perfis de corretor do Zillow como linhas
Um perfil de corretor do Zillow espalha o que sabe por vários painéis - quem é a pessoa, para que imobiliária trabalha, como falar com ela, como é avaliada e o que vendeu. O Scraper de Corretores do Zillow coloca tudo isso em uma linha. A entrada é uma URL zillow.com/profile/, colada uma por linha ou enviada em um arquivo CSV, XLSX, TXT ou Parquet, e cada corretor volta como um registro com o nome e o nome comercial, telefone e site, nota e número de avaliações, número de vendas e faixa de preço, localização, número de licença, nome de usuário, foto e a URL canônica do perfil. Catorze colunas, uma linha por corretor, cada uma marcada com a URL de onde veio.
Vale deixar claro como isto difere do nosso Scraper de Transações do Zillow, porque os dois recebem a mesma entrada. Este devolve uma linha por corretor - o resumo do perfil. Aquele devolve uma linha por transação listada nesse mesmo perfil. Rode uma lista de URLs nos dois e junte pela URL do perfil, e você fica com os números que o próprio corretor exibe ao lado dos negócios por trás deles. Note também que os contatos ficam aqui e não lá: esta exportação traz telefone e site, e a de transações não traz nenhum dos dois.
Uma coisa precisa ser dita antes de você planejar uma execução. O Zillow bloqueia IPs de datacenter, e uma execução sem proxy residencial não devolve nada. Pior: ela não avisa. O job termina com sucesso e entrega a linha de cabeçalho de catorze colunas sem dados abaixo, o que parece exatamente uma URL de perfil que não resolve. Toda exportação que temos deste serviço está nesse estado, assim como toda exportação dos nossos outros dois serviços de perfil do Zillow, ao longo de execuções espalhadas por vários meses, e é por isso que o requisito aparece no topo desta página e não em uma nota de rodapé.
Isso tem uma consequência honesta para o que esta página afirma. Os nomes das colunas estão confirmados e o conteúdo das células não. Os catorze nomes e a ordem deles são corroborados por duas fontes independentes - a linha de cabeçalho idêntica de vinte e oito execuções distintas e o array de colunas publicado -, então você pode montar um esquema em torno deles com confiança. Mas não vamos dizer em que formato phone, license ou sale_price_range chegam, se location é uma cidade ou uma região, nem como screen_name difere de name, porque nunca vimos um preenchido. O que dá para verificar só pelo cabeçalho é que não há coluna max_rating: a escala da nota não é recuperável do arquivo e precisa ser confirmada em uma execução real. No lado jurídico: os perfis são públicos, mas os termos do Zillow restringem o acesso automatizado, e esta exportação contém o telefone, a foto e o número de licença de uma pessoa identificada - trate-a como dado pessoal. Comece grátis: suas primeiras 500 linhas não custam nada e não pedem cartão, e depois são US$ 0,002 por linha, tarifa fixa, com o proxy residencial como custo à parte.