企業サイトの問合せページのリストアップ
コーポレートサイトからお問い合わせフォームがあるページをスクレイピングでリストアップ。
Web Scraping
ーWebスクレイピングー
新規開発
一般的なサイトのスクレイピングです。
複雑なページ構成をしていないので制作・納品を比較的早く行えます。
自動化できる操作の例:
検索・クリック・画像取得・文章取得など
SNSなど、スクロールに応じて内容が追加・更新されるサイトが対象です。
アクセス制限など回避する都合上、検索などの作業は時間がかかります。
自動化できる操作の例:
検索・クリック・画像取得・文章取得・投稿・フォロー・DMなど
ECサイトが対象のスクレイピングツールです。
自動化できる操作の例:
検索・クリック・画像取得・文章取得・出品・購入など
一般的なサイトのスクレイピング。
¥10,000(税込)~
詳しくはこちら
SNSなど、スクロールに応じて内容が追加・更新されるサイトを対象としたスクレイピングツール。
¥100,000(税込)~
詳しくはこちら
ECサイト専門のスクレイピングツール。現在準備中です。
¥XX,XXX(税込)~
詳しくはこちら
制作済ツールの運用
キーワード・NGワード・フォロワー数などの条件に該当するアカウントをピックアップします。
複数運用も対応可能です。
YouTubeチャンネルページから、チャンネルアイコン・登録者数・投稿動画・サムネイル・タイトル・公開日時・再生数を取得します。
継続的にデータを取得することで、一定期間の登録者増加数・期間再生数のデータを作成することも可能です。
都道府県・市区町村・業種のキーワードでGoogleMapから店舗情報を取得します。
条件に該当するアカウントをピックアップ。
¥1/件数
詳しくはこちら
任意のデータを取得することでまとめサイトの作成が可能に。
¥20/チャンネル
詳しくはこちら
GoogleMapから指定した条件に当てはまるお店情報をピックアップ。
¥1/件数
詳しくはこちら
一般的にスクレイピングというと高速でサイトの情報を取得するようなイメージですが、
短期間での多量アクセスはサイトを運営しているサーバへ負担をかけることになり、サーバが落ちてしまう原因になり得ます。
こういったことはDDos攻撃として見なされてしまう可能性があります。
そこで、私のツールは
私たちが普段ブラウザでサイトを見たり操作する一連の動作をそのまま再現するというコンセプトで制作します。
それによってサーバへの負荷を過度にかけない設計で、アクセス拒否などの問題もクリアします。
APIを使用しないメリット
・基本的にどのサイトでも対応可能
・短時間での多数アクセスを防止し、アクセス制限やアカウントの凍結を回避
・想定する操作に対し柔軟な対応が可能
・APIの使用回数制限などがないため無制限で使用できる
・APIを使用する準備がいらない
・APIの仕様変更に影響されない
APIを使用しないデメリット
・サイトの解析が必要なため開発に時間がかかる
・APIを使用したツールに比べるとスピードが遅い
・サイトの仕様が変更されると動作しなくなる可能性がある
・サーバメンテナンス等でサイトが表示されない時は使用できない
・IPアドレスの制限に弱い
・画像認証などのロボット対策に対応できない
*機密情報保持の関係でサイト名を伏せているものがあります