Reddit-Kommentare aus jedem Post im großen Maßstab scrapen
Livescrapers Reddit Comments Scraper macht aus Post-URLs eine Kommentartabelle. Sie fügen die Links ein, einen pro Zeile - oder laden sie als CSV-, XLSX-, TXT- oder Parquet-Datei hoch -, wählen eine von sechs Sortierungen, begrenzen die Zeilen je Anfrage oder lassen das Feld leer, um alles zu nehmen, und laden die Ergebnisse als saubere CSV-, Excel- oder JSON-Datei herunter. Die Anfragen gehen über den gemeinsamen Proxy-Pool statt über Ihre eigene Adresse hinaus.
Jede Zeile ist ein Kommentar: die von Ihnen eingereichte Post-URL, das Konto, das ihn geschrieben hat, der Kommentartext, sein Score, wann er erstellt wurde, ein Permalink auf genau diesen Kommentar und eine Status-Spalte, die festhält, wie der Abruf verlief. Die Sortierung ist die Einstellung, über die es sich nachzudenken lohnt, denn sie entscheidet, welchen Teil eines Threads ein begrenzter Lauf behält - Top und Controversial beantworten wirklich unterschiedliche Fragen zum selben Post.
Zwei Dinge sollten Sie wissen, bevor Sie darauf aufbauen. Das Schema ist flach: Es gibt keine Eltern-ID, keine Kommentar-ID und keine Tiefen-Spalte, der Export ist also eine Liste von Kommentaren und kein Antwortbaum, und die Spalte query ist die einzige Verbindung zurück zum Thread. Und diese Seite benennt die sieben Spalten und ihre Reihenfolge, ohne ein einziges Wertformat oder eine Füllquote zuzusagen, denn es existiert kein befüllter Reddit-Comments-Export, auf den sich das stützen ließe - die Läufe, die uns vorliegen, gaben nur die Spalten query und status zurück und zielten auf eine Platzhalter-URL, sie belegen also das Schema und nichts über Reddit, in keine Richtung.
Es lohnt sich außerdem, die Status-Spalte von Anfang an in Ihre Pipeline einzubauen: Das Formular der Plattform warnt selbst, dass Anti-Bot-Seiten im kostenlosen Pool, der nur residenziell ist, einen blocked-Status zurückgeben. Lassen Sie einen Post im kostenlosen Kontingent laufen und lesen Sie die ersten Zeilen, bevor Sie einen Parser schreiben. Ihre ersten 500 Zeilen kosten nichts und brauchen keine Kreditkarte, danach sind es 0,002 $ je Zeile, pauschal.