Informations de domaine - les fiches d'enregistrement WHOIS à grande échelle
Chaque nom de domaine porte une fiche d'enregistrement publique : qui est le bureau d'enregistrement accrédité, quand le domaine a été enregistré pour la première fois, quand la fiche a changé pour la dernière fois, quand elle expire, quels codes de statut protecteurs y sont posés et vers quels serveurs de noms il délègue. Lire cela domaine par domaine est une corvée ; le lire à l'échelle d'un portefeuille, d'une liste de fournisseurs ou d'un panel concurrentiel, c'est là que cela devient utile. Ce service le fait en masse - des domaines en entrée, une ligne chacun.
L'export porte huit colonnes et, fait inhabituel dans ce catalogue, n'a qu'une seule forme : les mêmes huit noms dans le même ordre sur quatre exécutions distinctes, et aucun désaccord entre les versions JSON et tableur du même fichier. Sept d'entre elles ont porté des valeurs réelles sur chaque ligne que nous détenons. Les dates arrivent en ISO AAAA-MM-JJ propre, sans composante horaire, ce qui signifie qu'une comparaison fonctionne sans analyseur maison. Le champ de statut est une liste de codes EPP joints par des virgules - verrous de transfert, de suppression et de mise à jour posés par le bureau d'enregistrement ou par le registre - il doit donc être découpé et testé par appartenance plutôt que comparé comme une chaîne, puisque l'ensemble varie selon le domaine. Le champ des serveurs de noms est lui aussi joint par des virgules et renvoyé en capitales, et il nomme directement le fournisseur DNS, ce qui implique souvent la pile d'hébergement derrière.
La huitième colonne est celle qui mérite une explication plutôt qu'un simple constat. Le titulaire est revenu vide sur les huit lignes, et c'est un résultat réglementaire plutôt qu'un échec de scraping. À l'entrée en vigueur du RGPD, l'ICANN a adopté une Temporary Specification for gTLD Registration Data obligeant les bureaux d'enregistrement à occulter les champs personnels - nom, organisation, courriel et adresse postale du titulaire - dans le WHOIS public, tandis que les champs qui ne sont pas des données personnelles continuent d'être publiés. C'est précisément le partage que montrent les exports. Cette page ne promet donc pas de coordonnées de titulaire et ne suggérera pas de moyen de contourner l'occultation ; là où existe un besoin réel et documenté, comme la protection des marques ou la recherche en sécurité, l'ICANN exploite un service de demande précisément pour cela. Un point de plus pour qui écrit l'importateur : ce service n'a pas de référence d'endpoint publiée, aucune limite de lot par requête n'est donc documentée, et cette page n'en cite délibérément aucune.
Les usages qui restent sont ceux que la plupart des gens veulent réellement. Les dates d'expiration sur une liste transforment le renouvellement d'un risque d'agenda en une colonne triable, et les noms de bureaux d'enregistrement révèlent à quel point un portefeuille hérité s'est fragmenté. Les dates de création donnent un signal honnête sur l'ancienneté d'une organisation inconnue - en notant toutefois que la date est l'enregistrement d'origine du domaine et non la date d'acquisition par son propriétaire actuel, raison pour laquelle stripe.com affiche 1995-09-12. Les serveurs de noms cartographiés à l'échelle d'un secteur montrent sur quoi ce marché s'est standardisé, tiré des domaines eux-mêmes. Sur le plan juridique, il s'agit d'un registre administratif public dont la moitié personnelle a déjà été retirée avant qu'aucune requête ne l'atteigne ; la réserve à garder à l'esprit est que sur un petit domaine personnel un bureau d'enregistrement et une date peuvent encore restreindre le champ, et que les registres nationaux fixent leurs propres règles de publication. Uniquement des sources publiquement disponibles, rien derrière une authentification, aucun traceur tiers sur la couche de données, et des exports qui s'auto-suppriment au bout de 30 jours. Vos 500 premières lignes sont gratuites et ne demandent pas de carte bancaire.