Scraper à grande échelle les commentaires de n'importe quel post Reddit
Le Reddit Comments Scraper de Livescraper transforme des URL de posts en tableau de commentaires. Vous collez les liens un par ligne - ou les téléversez en CSV, XLSX, TXT ou Parquet -, choisissez l'un des six tris, plafonnez les lignes par requête ou laissez le champ vide pour tout prendre, et téléchargez les résultats en fichier CSV, Excel ou JSON propre. Les requêtes sortent par le pool de proxys partagé plutôt que par votre propre adresse.
Chaque ligne est un commentaire : l'URL du post que vous avez soumise, le compte qui l'a écrit, le texte du commentaire, son score, sa date de création, un lien permanent vers ce commentaire précis et une colonne de statut consignant le déroulement de la récupération. Le tri est le réglage auquel il vaut la peine de réfléchir, car il décide quelle partie d'un fil une exécution plafonnée conserve - Top et Controversial répondent à des questions réellement différentes sur le même post.
Deux choses méritent d'être connues avant de construire dessus. Le schéma est plat : il n'y a ni identifiant parent, ni identifiant de commentaire, ni colonne de profondeur, l'export est donc une liste de commentaires et non une arborescence de réponses, et la colonne query est le seul lien vers le fil. Et cette page nomme les sept colonnes et leur ordre sans revendiquer le moindre format de valeur ni taux de remplissage, car il n'existe aucun export Reddit Comments rempli sur lequel le fonder - les exécutions dont nous disposons n'ont renvoyé que les colonnes query et status et visaient une URL fictive, elles établissent donc le schéma et rien sur Reddit, dans un sens comme dans l'autre.
Il vaut également la peine d'intégrer la colonne de statut à votre chaîne de traitement dès le départ : le formulaire de la plateforme prévient lui-même que les sites protégés renvoient un statut blocked sur le pool gratuit, qui est résidentiel uniquement. Lancez un post sur l'offre gratuite et lisez les premières lignes avant d'écrire un parseur. Vos 500 premières lignes ne coûtent rien et ne demandent pas de carte bancaire, et ensuite c'est 0,002 $ par ligne, au forfait.