入力は2つだけです。どこを見るか、そして何を持ち帰るか。パーサーが誰にも書かれていないサイトでこれが機能するのは、2つ目のおかげです。
各ページは当社のプロキシプール経由で取得され、あなたの実IPが使われることはありません。読み取りはClaudeが行い、あなたが指定した属性を抜き出します。
入力した属性がそのままスキーマです。価格と評価を求めれば2列、説明文を足せば3列になります。ここには固定のヘッダー行が存在しません。だからこそ、互いに構造の異なるページに対応できます。
ほとんどのサイトは、専用スクレイパーを作るだけの規模には決してなりません。これはそうしたサイトのための答えです。仕入先のカタログ、業界団体のディレクトリ、地域のマーケットプレイス - データはページにあるのに、抽出ツールを保守している人が誰もいない場所です。
列をどう定義しても、出力はプラットフォームの他の部分と同じ、いつものCSV・XLSX・JSONです。固定スキーマのスクレイパーの実行結果と同じパイプラインにそのまま流し込めます。
このサイトの他のどのページも、固定された列の集合を示しています。このページはそれができません。書くのはあなただからです。
追加した属性が出力そのものです。 price と rating と入力すれば、ファイルにはその名前の列が2つできます。入力補助はよく使われるものをいくつか提案します - name、price、discount price、description、image、rating、reviews - が、この欄は自由入力を受け付けるので、一覧は便宜であって制限ではありません。そのページが実際に持っているものを指定してください。
この柔軟性が製品そのものであり、そこには明らかな帰結があります。サンプルのエクスポートをお見せすることも、特定のセルに何が入るかをお約束することもできません。 どちらも、あなたが指定するページと選ぶ言葉によって決まるからです。属性はそのページ自身のラベルに合わせて名付け、求めたものをページが単に持っていない場合は空欄になると考え、リスト全体に投入する前に数ページで言い回しを確かめてください。
プラットフォームの他と異なる実務上の違いが1つ。ページ上限の初期値は100ではなく1です。 まず1ページで試すことを想定したツールとしては妥当な既定値ですが、上げるまでは1ページで実行が止まるということでもあります。
対応サイト一覧を確認する必要はありません。サイトごとのパーサーが存在しないからです。必須の入力は2つ、URLと、そこから欲しい属性です。
固定スキーマを持たないスクレイパーが実際に何のためにあるのか、例をいくつか。
地域のマーケットプレイス、業界団体のディレクトリ、メーカーのカタログ。データはページにあるのに専用ツールが存在しない - 必要な項目を指定して、そのまま持ち帰ってください。
おおまかな属性リストで数ページを指定し、必要なデータがそもそも存在するかを確かめます。まだ検証していないデータ元に対して専用の抽出処理を仕様化するより、ずっと安価な第一歩です。
専用スクレイパーが欲しいものをほぼすべて返してくれることもあります。そんなときは同じページにこちらを向け、足りない属性だけを求めて、結果をURLで結合してください。
サブスクリプションも、最低利用額も、毎月の請求もありません。最初の500行は当社負担です。以降は従量課金で、ここにある他のスクレイパーと同じ一律料金です。
新規アカウントごとに初回限り。クレジットカードは不要です。独自の属性リスト、ファイルアップロード、すべての出力形式を含みます。
プラットフォームの他と同じ一律料金です。事前見積もりが、実行前に行数とクレジット消費を表示します。想定外の請求も、換算の必要な計算単位もありません。
大量のページリストを定期的に処理する場合は、ボリューム価格、専用ワーカー、SLAをご用意します。規模をお知らせいただければお見積もりします。
LIVESCRAPER10 をご利用ください。このツールは、専用の抽出処理が存在しないサイトのためにあります。専用のものがある場合は、そちらが優れた選択です。そのサイトの癖を知っており、文書化された列構成を返します。
ローカルビジネスなら、項目を自分で記述するのではなくこちらを使ってください。文書化された列構成を返し、汎用ツールでは知りようのないページ送りや場所IDの扱いにも対応しています。
同じ発想で、出力をより細かく制御できます。属性を選ぶ代わりにプロンプトを書くか、型と必須フラグを持つ項目を一つずつ組み立ててスキーマを作ります。上限もクエリごとのページ数ではなく URL ごとの行数を数えます。実行のたびに結果の形が変わっては困るときはこちらを選んでください。
任意のサイトから連絡先だけが必要なら、こちらのほうが範囲が狭く直接的なツールです。それが扱わない項目が必要になったときに、汎用のほうへ移ってください。
簡潔に言えば、それはページ次第です。対象が固定されていないツールについては、これが正直な答えであり、当社の他のスクレイパーよりも多くの判断があなたに委ねられます。
ここにある他のスクレイパーはどれも1つのサイトを対象としているため、何を取得するのか、そのサイトの規約が何と言っているのかをお伝えできます。これはあなたが向けた先を対象にします。 ですからその判断を代わりに行うことはできません。実行は、当社のプロキシプール経由で、あなたの実IPを使わずに、通常の訪問者と同じようにページを取得し、そこに書かれているものを読みます。ログインもせず、ペイウォールも破らず、訪問者が見られないものには到達しません。その先、あるページから収集してよいかどうかは、そのページの規約とあなたの目的についての問いであり、ツールを向ける前にあなたが答えるべきものです。
求める属性については意識的であってください。 汎用の抽出ツールは、あなたが指定したものを何でも返します。個人の氏名、メールアドレス、電話番号といった個人データも含めてです。それらを求めた時点で、単なるページ取得が個人データの処理になり、EUおよび英国では管理者をあなたとしてGDPRが伴います。適法な根拠、データの出所についての説明、異議申立てや削除請求への対応が必要です。ツールはあなたを止めません。義務はあなたにあります。
当社はデータ層でサードパーティのトラッカーを動かしておらず、エクスポートは30日後に自動削除されます。データ元や項目について確信が持てない場合は、規模を拡大したあとではなく、その前に助言を求めてください。
最もよくいただく質問です。他にご不明な点は? お問い合わせください - 回答を書くのはボットではなく人間です。
スクレイピングツールの多くは、サイトごとに作られます。誰かがページのマークアップを調べ、抽出処理を書き、固定された列構成を公開する - その手間に見合うだけの規模を持つ一握りのサイトには見事に機能し、それ以外のすべてにはまったく機能しません。ユニバーサルAIスクレイパーは、その「それ以外のすべて」のためのものです。ページのURLと欲しい属性のリストを渡すと、各ページが当社のプロキシプール経由で取得されてClaudeが読み取り、指定した属性が、ごく普通のCSV・XLSX・JSONファイルの列となって返ります。
だからこのページにはデータ辞書がありません。 このサイトの他のどの製品ページも固定のヘッダー行を公開していますが、このページにはそれができません。スキーマを実行時に書くのはあなただからです。price と rating と入力すれば、ファイルにはその名前の列が2つできます。入力補助はよく使われる属性をいくつか提案します - name、price、discount price、description、image、rating、reviews - が、この欄は自由入力です。そのページが実際に持っているものを指定してください。
この柔軟性には、はっきり述べておくべき代償があります。対象もスキーマもあなたのものである以上、サンプルのエクスポートをお見せすることも、特定のセルの中身をお約束することもできず、精度の数値も公表していません。実務的な助言は、同僚に伝えるのと同じものです。属性はそのページのラベルに合わせて名付け、求めたものをページが単に持っていない場合は空欄になると考え、長いリストに向ける前に代表的なページ2〜3件で言い回しを検証してください。また、ページ上限の初期値が、他のスクレイパーの100ではなく1である点にもご注意を。
対象のデータ元に専用スクレイパーがすでにあるなら、そちらを使ってください。そのサイトの癖を知っており、文書化された列構成を返します。このツールが本領を発揮するのは、誰もパーサーを作っておらず、おそらく今後も作られないサイトです。無料で始められます。最初の500行は費用もクレジットカードも不要で、その後は1行あたり一律0.002ドルです。