Envie uma lista de domínios e descubra com o que cada site é construído - CMS, plataforma de e-commerce, analytics, CDN, hospedagem e servidor web, mais uma única coluna de resumo listando tudo o que foi detectado. Execuções mais recentes acrescentam o detalhamento por categorias do próprio BuiltWith.
É isto que você precisa saber antes de escrever um importador, porque a contagem de colunas não é estável entre execuções.
Toda execução retorna nove colunas em minúsculas: domain, depois cms, ecommerce, javascript, analytics, cdn, marketing e server, e por fim technologies - um resumo separado por vírgulas do que foi detectado. Esse conjunto é o núcleo confiável.
Execuções mais recentes retornam essas nove mais vinte e cinco: query e vinte e quatro colunas em maiúsculas iniciais com os nomes de categoria do próprio BuiltWith - Content Management System, Web Hosting Providers, SSL Certificates, Name Server e as demais. Trinta e quatro colunas no total. O dicionário de dados abaixo lista os dois conjuntos e marca qual é qual.
Escreva o importador contra as nove e trate as vinte e cinco como presentes-se-presentes. Um leitor que indexa colunas por posição, ou que presume um cabeçalho fixo, vai quebrar na primeira vez que encontrar a outra forma.
Um domínio é toda a entrada. Não há filtros para configurar.
As duas formas funcionam - um domínio puro como stripe.com ou uma URL completa como https://shopify.com.
Medido a partir de 9 exportações reais cobrindo 12 linhas e 9 domínios distintos. As primeiras nove aparecem em toda execução; as demais apareceram apenas nas duas mais recentes.
Shopify.Shopify.Next.js e jQuery.Google Analytics e Google Tag Manager.Cloudflare e CloudFront.Intercom.nginx, cloudflare e Vercel.analytics em minúsculas.cdn em minúsculas.cms em minúsculas.Google Workspace em todas as linhas da forma recente que temos.Next.js.en-US e en.Viewport Meta em todas as linhas da forma recente que temos.Klarna.Robots.txt. Note o sublinhado no nome da coluna.HTTPS.nginx e Cloudflare.Google Search Console, Facebook.nginx e cloudflare.Intercom.ecommerce em minúsculas. Note a inicial minúscula no nome da coluna.HTML5 Video. Note os espaços em torno da barra no nome da coluna.Contagens, não porcentagens. A forma recente de 34 colunas aparece em apenas 4 das 12 linhas que temos, uma amostra pequena demais para ser expressa como taxa de preenchimento - por isso esta tabela diz "vazia em todas as quatro" onde foi isso que medimos, e não afirma nada sobre como essas colunas se comportam em escala. As nove colunas em minúsculas estão em terreno mais firme: nas 12 linhas, domain chegou todas as vezes, technologies em 10, server em 9, e cms, ecommerce e marketing em 3 cada. Rode um punhado de domínios seus no nível gratuito antes de construir em cima de qualquer coluna isolada.
Cada uma veio de ler as exportações, e não a documentação, e é por isso que valem o espaço.
Duas das doze linhas que temos voltaram com todos os campos vazios exceto domain - inclusive technologies. É um resultado real, não um erro: o site simplesmente não correspondeu a nada. Trate uma linha vazia como resultado normal em vez de consulta falha, e a sua contagem de linhas continuará batendo com a entrada.
O mesmo domínio executado duas vezes retornou os mesmos quatro servidores de nomes em duas ordens diferentes dentro de Name Server. Divida pela vírgula e compare como conjunto - comparar esse campo como string vai relatar uma mudança que não aconteceu.
Em uma exportação, Copyright voltou como hds-text--md">© - um fragmento de atributo de classe HTML que por acaso ficava ao lado do símbolo, e não uma declaração de copyright. Não exiba este campo sem verificar, e não extraia dele um nome de empresa.
cms e Content Management System descrevem a mesma detecção, assim como cdn e Content Delivery Network. Os valores nem sempre são escritos igual: uma linha trazia server como cloudflare e Web Hosting Providers como Cloudflare. Normalize maiúsculas e minúsculas antes de juntar ou agrupar por elas.
Onde saber sobre o que um site roda muda o que você faz em seguida.
Se o seu produto se conecta a uma plataforma específica, a plataforma é o critério de qualificação. Rodar uma lista de domínios e filtrar por cms, ecommerce ou analytics separa as contas em que a sua integração já funciona daquelas em que seria uma migração - duas conversas bem diferentes, e vale saber antes do primeiro e-mail.
Rode todos os domínios de um setor e conte os valores em cms, cdn e server. O resultado é um retrato daquilo em que esse mercado se padronizou, tirado dos próprios sites e não de estudos de caso de fornecedores - e os casos fora da curva costumam ser a parte interessante.
Antes de investir tempo de engenharia em uma integração com parceiro, ajuda saber o que existe do outro lado. Uma linha informa a hospedagem, a CDN, o servidor e o analytics que um site usa, o que muitas vezes basta para identificar cedo a incompatibilidade - ou para confirmar que não há nenhuma.
Sem assinatura, sem mínimo, sem licença por usuário. Suas primeiras 500 linhas são por nossa conta - depois, pagamento por uso.
Em toda conta nova, uma única vez. Sem cartão de crédito. Vale gastar algumas em domínios cuja stack você já conhece, para ver quais colunas se preenchem no tipo de site que importa para você.
Cerca de US$ 2 por 1.000 domínios, uma linha por domínio - exato de orçar, porque um domínio sem detecções também retorna exatamente uma linha.
Preços por volume, SLAs, workers dedicados e onboarding sob medida para equipes que reverificam um grande conjunto de domínios periodicamente. Diga seus volumes e enviamos uma proposta.
LIVESCRAPER10 no checkout.Este diz sobre o que um site roda. Estes dois dizem de quem ele é e como se sai.
Vinte colunas firmográficas a partir da mesma entrada - nome, token de setor, quadro de pessoal, ano de fundação, receita, endereço e redes sociais. Stack mais firmografia qualifica uma conta muito melhor do que qualquer uma sozinha.
Estimativas de ranking e engajamento para o mesmo domínio - ranking global, de categoria e de país com suas variações. Com o que um site é construído, ao lado de como ele se sai frente aos pares.
Uma das questões mais leves do catálogo, e vale explicar por quê em vez de apenas afirmá-lo.
Com o que um site é construído é publicado pelo próprio site. Um cabeçalho de servidor, uma tag de script, uma tag viewport e um registro DNS são coisas que um navegador lê a cada visita - a detecção aqui é a mesma observação, feita de propósito e anotada. Não há nenhum dado pessoal nestas colunas: elas descrevem software e infraestrutura, não pessoas.
Duas ressalvas honestas. A coluna Copyright retira uma linha da página, e em um site de uma pessoa só essa linha pode nomear um indivíduo - trate essas linhas com o mesmo cuidado que daria a dados de contato. E Name Server e Email Hosting Providers descrevem a infraestrutura de um domínio, que é pública, mas também é o tipo de detalhe que merece cuidado se você for publicar em vez de analisar.
Do nosso lado: apenas fontes publicamente disponíveis, nada atrás de login, sem rastreadores de terceiros na camada de dados, e suas exportações se autoexcluem depois de 30 dias.
As perguntas que mais ouvimos. Mais alguma coisa? Fale conosco - quem escreve as respostas são pessoas, não bots.
domain, cms, ecommerce, javascript, analytics, cdn, marketing, server e technologies. Execuções recentes acrescentam query mais vinte e quatro colunas de categoria em maiúsculas iniciais - trinta e quatro no total. O dicionário de dados desta página lista todas elas e marca a qual conjunto cada uma pertence.technologies. Duas das doze linhas que temos voltaram assim. É um resultado real, e não um erro, e significa que a sua contagem de linhas de saída continua batendo com a de entrada.technologies é um resumo separado por vírgulas do que foi detectado. Para qualquer coisa programática, processe as colunas individuais. O conteúdo do resumo depende de qual forma a execução retornou, então o mesmo domínio pode produzir uma string diferente em uma execução posterior mesmo sem nada ter mudado no site.Cole seus domínios e obtenha o CMS, a plataforma de e-commerce, o analytics, a CDN e o servidor por trás de cada um. Suas primeiras 500 linhas são grátis - o suficiente para conferir quais colunas se preenchem no tipo de site que importa para você.
Saber com o que um site é construído muda como você o aborda. Um prospect que já usa a plataforma de e-commerce com a qual o seu produto integra é uma conversa diferente de um que teria de migrar primeiro; um concorrente que se padronizou em uma CDN e uma stack de analytics específicas diz algo sobre como funciona o mercado em que ele atua. O Extrator do BuiltWith coleta isso em escala. Envie uma lista de domínios - tanto um domínio puro como stripe.com quanto uma URL completa como https://shopify.com funcionam - e cada um volta como uma única linha descrevendo as tecnologias detectadas naquele site.
Toda execução retorna nove colunas: o próprio domínio, depois o CMS, a plataforma de e-commerce, o framework ou biblioteca JavaScript, o analytics e gerenciamento de tags, a CDN, os widgets de marketing e o servidor web, e por fim um resumo separado por vírgulas de tudo o que foi encontrado. Execuções mais recentes retornam essas nove mais vinte e cinco - a consulta enviada, devolvida, e vinte e quatro colunas com os nomes de categoria do próprio BuiltWith, entre elas Content Management System, Email Hosting Providers, Frameworks, Language, Mobile, Name Server, Payment, SSL Certificates, Web Hosting Providers, Web Master Registration, Widgets e Audio / Video Media. Esse comportamento de duas formas é a coisa mais importante de entender antes de escrever um importador: programe contra as nove que estão sempre lá e trate o resto como opcional, porque um leitor que presume um cabeçalho fixo vai quebrar na primeira vez que encontrar a outra forma.
Quatro detalhes vale conhecer de antemão, todos observados em exportações reais e não tirados de documentação. Um domínio em que nada é detectado ainda assim produz uma linha, com só a coluna de domínio preenchida - é um resultado comum, não uma falha, e mantém a contagem de linhas de saída igual à de entrada. Os servidores de nomes em um mesmo campo voltam em ordem diferente entre execuções do mesmo domínio, então essa coluna deve ser dividida pela vírgula e comparada como conjunto, em vez de comparada como string. A coluna Copyright não é confiável: em uma exportação ela retornou um fragmento de atributo de classe HTML que por acaso ficava junto ao símbolo de copyright, então não deve ser exibida sem verificação nem analisada em busca de um nome de empresa. E os conjuntos de colunas em minúsculas e em maiúsculas iniciais se sobrepõem, descrevendo as mesmas detecções com capitalização às vezes diferente dos valores, o que importa se você agrupar ou juntar por elas.
No aspecto jurídico este é um dos serviços mais leves do catálogo, por uma razão simples: com o que um site é construído é informação que o site publica a cada visitante. Um cabeçalho de servidor, uma tag de script e um registro DNS são lidos por qualquer navegador em qualquer visita; registrá-los de propósito é a mesma observação posta por escrito. Nenhuma das colunas descreve uma pessoa. As duas ressalvas que valem menção são que a coluna Copyright retira uma linha da página e pode nomear um indivíduo em um site de uma pessoa só, e que detalhes de infraestrutura como servidores de nomes e hospedagem de e-mail, embora públicos, merecem reflexão se você pretende publicá-los em vez de analisá-los. Nada atrás de login é tocado, nenhum rastreador de terceiros roda na camada de dados, e as exportações se autoexcluem depois de 30 dias. Comece grátis: suas primeiras 500 linhas não custam nada e não exigem cartão de crédito.