Soumettez une liste de domaines et découvrez avec quoi chaque site est construit - CMS, plateforme e-commerce, analytics, CDN, hébergement et serveur web, plus une unique colonne de synthèse listant tout ce qui a été détecté. Les exécutions récentes y ajoutent la ventilation par catégories de BuiltWith.
C'est ce qu'il faut savoir avant d'écrire un importateur, car le nombre de colonnes n'est pas stable d'une exécution à l'autre.
Chaque exécution renvoie neuf colonnes en minuscules : domain, puis cms, ecommerce, javascript, analytics, cdn, marketing et server, et enfin technologies - une synthèse séparée par des virgules de ce qui a été détecté. Cet ensemble est le noyau fiable.
Les exécutions récentes renvoient ces neuf-là plus vingt-cinq autres : query, et vingt-quatre colonnes en capitales initiales portant les noms de catégorie propres à BuiltWith - Content Management System, Web Hosting Providers, SSL Certificates, Name Server et les autres. Trente-quatre colonnes au total. Le dictionnaire de données ci-dessous liste les deux ensembles et signale lequel est lequel.
Écrivez l'importateur pour les neuf, et traitez les vingt-cinq comme présentes-si-présentes. Un lecteur qui indexe les colonnes par position, ou qui suppose un en-tête figé, cassera dès la première rencontre avec l'autre forme.
Un domaine constitue toute l'entrée. Il n'y a aucun filtre à configurer.
Les deux formes fonctionnent - un domaine seul comme stripe.com ou une URL complète comme https://shopify.com.
Mesuré sur 9 exports réels couvrant 12 lignes et 9 domaines distincts. Les neuf premières apparaissent à chaque exécution ; les autres seulement sur les deux plus récentes.
Shopify.Shopify.Next.js et jQuery.Google Analytics et Google Tag Manager.Cloudflare et CloudFront.Intercom.nginx, cloudflare et Vercel.analytics en minuscules.cdn en minuscules.cms en minuscules.Google Workspace dans chaque ligne de la forme récente que nous détenons.Next.js.en-US et en.Viewport Meta dans chaque ligne de la forme récente que nous détenons.Klarna.Robots.txt. Notez le tiret bas dans le nom de la colonne.HTTPS.nginx et Cloudflare.Google Search Console, Facebook.nginx et cloudflare.Intercom.ecommerce en minuscules. Notez la minuscule initiale dans le nom de la colonne.HTML5 Video. Notez les espaces autour de la barre oblique dans le nom de la colonne.Des décomptes, pas des pourcentages. La forme récente à 34 colonnes n'apparaît que dans 4 des 12 lignes que nous détenons, un échantillon bien trop petit pour être exprimé en taux de remplissage - c'est pourquoi ce tableau dit "vide dans les quatre" là où c'est ce que nous avons mesuré, et n'affirme rien sur le comportement de ces colonnes à grande échelle. Les neuf colonnes en minuscules reposent sur un terrain plus solide : sur les 12 lignes, domain est arrivé à chaque fois, technologies sur 10, server sur 9, et cms, ecommerce et marketing sur 3 chacune. Lancez une poignée de vos propres domaines sur l'offre gratuite avant de bâtir quoi que ce soit autour d'une seule colonne.
Chacune vient de la lecture des exports plutôt que de la documentation, et c'est pourquoi elles méritent leur place.
Deux des douze lignes que nous détenons sont revenues avec tous les champs vides sauf domain - y compris technologies. C'est un vrai résultat, pas une erreur : le site n'a simplement rien déclenché. Traitez une ligne vide comme un résultat normal plutôt que comme une requête échouée, et votre nombre de lignes continuera de correspondre à votre entrée.
Le même domaine lancé deux fois a renvoyé les mêmes quatre serveurs de noms dans deux ordres différents à l'intérieur de Name Server. Découpez sur la virgule et comparez comme un ensemble - comparer ce champ comme une chaîne signalera un changement qui n'a pas eu lieu.
Dans un export, Copyright est revenu sous la forme hds-text--md">© - un fragment d'attribut de classe HTML qui se trouvait à côté du symbole, et non une mention de copyright. N'affichez pas ce champ sans le vérifier, et n'en extrayez pas un nom d'entreprise.
cms et Content Management System décrivent la même détection, tout comme cdn et Content Delivery Network. Les valeurs ne s'écrivent pas toujours pareil : une ligne portait server à cloudflare et Web Hosting Providers à Cloudflare. Normalisez la casse avant de joindre ou de regrouper dessus.
Là où savoir sur quoi tourne un site change ce que vous faites ensuite.
Si votre produit se branche sur une plateforme précise, la plateforme est le critère de qualification. Passer une liste de domaines et filtrer sur cms, ecommerce ou analytics sépare les comptes où votre intégration fonctionne aujourd'hui de ceux où il faudrait migrer - deux conversations très différentes, et bon à savoir avant le premier e-mail.
Passez tous les domaines d'un secteur et comptez les valeurs de cms, cdn et server. Le résultat est une image de ce sur quoi ce marché s'est standardisé, tirée des sites eux-mêmes plutôt que d'études de cas d'éditeurs - et les cas atypiques sont généralement la partie intéressante.
Avant d'engager du temps d'ingénierie sur une intégration partenaire, il est utile de savoir ce qu'il y a en face. Une ligne vous donne l'hébergement, le CDN, le serveur et l'analytics d'un site, ce qui suffit souvent à repérer tôt l'incompatibilité - ou à confirmer qu'il n'y en a pas.
Pas d'abonnement, pas de minimum, pas de licence par utilisateur. Vos 500 premières lignes sont offertes - ensuite, paiement à l'usage.
Pour chaque nouveau compte, une seule fois. Sans carte bancaire. Il vaut la peine d'en consacrer quelques-unes à des domaines dont vous connaissez déjà la stack, pour voir quelles colonnes se remplissent sur le type de sites qui vous intéresse.
Environ 2 $ pour 1 000 domaines, une ligne par domaine - budget au centime près, puisqu'un domaine sans détection renvoie lui aussi exactement une ligne.
Tarifs au volume, SLA, workers dédiés et onboarding sur mesure pour les équipes qui revérifient un large ensemble de domaines de façon planifiée. Donnez-nous vos volumes et nous chiffrons.
LIVESCRAPER10 au moment du paiement.Celui-ci vous dit sur quoi tourne un site. Ces deux-là vous disent à qui il appartient et comment il performe.
Vingt colonnes firmographiques à partir de la même entrée - nom, jeton de secteur, effectif, année de création, chiffre d'affaires, adresse et réseaux sociaux. Stack plus firmographie qualifie un compte bien mieux que l'un ou l'autre seul.
Estimations de rang et d'engagement pour le même domaine - rang mondial, par catégorie et par pays avec leur évolution. Ce avec quoi un site est construit, à côté de sa performance face à ses pairs.
L'une des questions les plus légères du catalogue, et il vaut la peine d'expliquer pourquoi plutôt que de simplement l'affirmer.
Ce avec quoi un site est construit, le site le publie lui-même. Un en-tête de serveur, une balise script, une balise viewport et un enregistrement DNS sont autant de choses qu'un navigateur lit à chaque visite - la détection ici est cette même observation, faite délibérément et consignée. Il n'y a aucune donnée personnelle dans ces colonnes : elles décrivent des logiciels et de l'infrastructure, pas des personnes.
Deux réserves honnêtes. La colonne Copyright reprend une ligne de la page, et sur un site tenu par une seule personne cette ligne peut nommer un individu - traitez ces lignes avec le même soin que des données de contact. Et Name Server et Email Hosting Providers décrivent l'infrastructure d'un domaine : public, certes, mais aussi le genre de détail à manier avec discernement si vous publiez plutôt que vous n'analysez.
De notre côté : uniquement des sources publiquement accessibles, rien derrière une authentification, aucun traceur tiers sur la couche de données, et vos exports s'auto-suppriment au bout de 30 jours.
Les questions qui reviennent le plus. Autre chose ? Parlons-en - les réponses sont écrites par des humains, pas par des bots.
domain, cms, ecommerce, javascript, analytics, cdn, marketing, server et technologies. Les exécutions récentes ajoutent query plus vingt-quatre colonnes de catégorie en capitales initiales - trente-quatre au total. Le dictionnaire de données de cette page les liste toutes et signale à quel ensemble chacune appartient.technologies. Deux des douze lignes que nous détenons sont revenues ainsi. C'est un vrai résultat plutôt qu'une erreur, et cela garantit que votre nombre de lignes en sortie continue de correspondre à votre entrée.technologies est une synthèse séparée par des virgules de ce qui a été détecté. Pour tout traitement programmatique, exploitez les colonnes individuelles. Le contenu de la synthèse dépend de la forme renvoyée par l'exécution, si bien que le même domaine peut produire une chaîne différente lors d'une exécution ultérieure même si rien n'a changé sur le site.Collez vos domaines et obtenez le CMS, la plateforme e-commerce, l'analytics, le CDN et le serveur derrière chacun. Vos 500 premières lignes sont offertes - de quoi vérifier quelles colonnes se remplissent pour le type de sites qui vous intéresse.
Savoir avec quoi un site est construit change la façon de l'aborder. Un prospect qui utilise déjà la plateforme e-commerce avec laquelle votre produit s'intègre, c'est une autre conversation qu'un prospect qui devrait d'abord migrer ; un concurrent qui s'est standardisé sur un CDN et une stack analytics donnés en dit long sur le fonctionnement du marché où il évolue. L'Extracteur BuiltWith collecte cela à grande échelle. Soumettez une liste de domaines - un domaine seul comme stripe.com ou une URL complète comme https://shopify.com fonctionnent tous les deux - et chacun revient sous forme d'une seule ligne décrivant les technologies détectées sur ce site.
Chaque exécution renvoie neuf colonnes : le domaine lui-même, puis le CMS, la plateforme e-commerce, le framework ou la bibliothèque JavaScript, l'analytics et la gestion de balises, le CDN, les widgets marketing et le serveur web, et enfin une synthèse séparée par des virgules de tout ce qui a été trouvé. Les exécutions récentes renvoient ces neuf-là plus vingt-cinq autres - la requête soumise renvoyée, et vingt-quatre colonnes portant les noms de catégorie propres à BuiltWith, parmi lesquelles Content Management System, Email Hosting Providers, Frameworks, Language, Mobile, Name Server, Payment, SSL Certificates, Web Hosting Providers, Web Master Registration, Widgets et Audio / Video Media. Ce comportement à deux formes est la chose la plus importante à comprendre avant d'écrire un importateur : codez pour les neuf qui sont toujours là et traitez le reste comme optionnel, car un lecteur qui suppose un en-tête figé cassera dès la première rencontre avec l'autre forme.
Quatre détails méritent d'être connus à l'avance, tous observés dans des exports réels plutôt que tirés d'une documentation. Un domaine où rien n'est détecté produit quand même une ligne, avec la seule colonne domaine renseignée - c'est un résultat ordinaire, pas un échec, et cela maintient l'égalité entre le nombre de lignes en sortie et en entrée. Les serveurs de noms d'un même champ reviennent dans un ordre différent d'une exécution à l'autre pour le même domaine : cette colonne doit donc être découpée sur la virgule et comparée comme un ensemble plutôt que comparée comme une chaîne. La colonne Copyright n'est pas fiable : dans un export, elle a renvoyé un fragment d'attribut de classe HTML qui jouxtait le symbole de copyright, elle ne devrait donc pas être affichée sans vérification ni analysée pour en tirer un nom d'entreprise. Et les ensembles de colonnes en minuscules et en capitales initiales se recoupent, décrivant les mêmes détections avec une casse parfois différente des valeurs, ce qui compte si vous regroupez ou joignez dessus.
Sur le plan juridique, c'est l'un des services les plus légers du catalogue, pour une raison simple : ce avec quoi un site est construit est une information que le site publie à chaque visiteur. Un en-tête de serveur, une balise script et un enregistrement DNS sont lus par n'importe quel navigateur à n'importe quelle visite ; les consigner délibérément, c'est la même observation mise par écrit. Aucune des colonnes ne décrit une personne. Les deux réserves à signaler sont que la colonne Copyright reprend une ligne de la page et peut nommer un individu sur un site tenu par une seule personne, et que les détails d'infrastructure comme les serveurs de noms et l'hébergement de messagerie, quoique publics, méritent réflexion si vous comptez les publier plutôt que les analyser. Rien derrière une authentification n'est touché, aucun traceur tiers ne tourne sur la couche de données, et les exports s'auto-suppriment au bout de 30 jours. Commencez gratuitement : vos 500 premières lignes ne coûtent rien et ne demandent aucune carte bancaire.