SaaS Browser Bot - クローラー情報
SaaS Browserは、新しいSaaS製品やソフトウェアソリューションの発見を支援する無料のオープンな検索エンジンです。アカウント登録やサインアップ不要で完全に無料で検索できます。
SaaS BrowserにSaaSを掲載すると、潜在顧客が積極的にソフトウェアを検索している際に貴社のソリューションを発見しやすくなります。専門のSaaS検索エンジンにインデックスされることで、新しいツールを評価する準備ができた意思決定者に貴社の製品を届けられ、しかも完全に無料です。当社のクローラーが貴社のサイトにアクセスできる場合、すでにこの露出を得ている可能性が高いです。
さらにコントロールしたいですか?プロフィールを申請し、スクリーンショットをアップロードして、製品を最も魅力的な形で紹介できます。ボットが貴社の製品をまだ見つけていない場合、掲載を申請するのは無料で簡単です(サインアップが必要です)。
クローラーについて
SaaS Browser Botはウェブをクロールして、SaaS製品、ソフトウェアツール、関連コンテンツを発見しインデックスします。私たちは責任あるクロールに努め、ウェブマスターの意向を尊重します。
ユーザーエージェント文字列
当社のボットは以下のユーザーエージェントで自己識別します。
Mozilla/5.0 (compatible; SaaSBrowserBot/1.0; +https://saasbrowser.com/bot)
設定の尊重
robots.txt
当社はrobots.txtの指示を完全に尊重します。ボットは貴社のドメイン上のページをクロールする前に、robots.txtファイルを確認します。ボットをブロックするには、robots.txtファイルに以下を追加してください。
User-agent: SaaSBrowserBot
Disallow: /
メタロボットタグ
HTMLメタタグのnoindex指示も尊重します。
<meta name="robots" content="noindex">
HTTPヘッダー
X-Robots-Tag HTTPヘッダーも尊重します。
X-Robots-Tag: noindex
ウェブサイトにnoindexディレクティブを追加すると、当社のSaaSインデックスから削除されますのでご注意ください。
クロールの動作
- 1ドメインあたり最大1秒に1リクエスト。
- コンテンツの更新、ウェブサイトがオンラインかどうかの確認、インデックスからの削除希望の確認のため、通常30日に1回程度のクロール頻度。
- 有効なSSL証明書を持つサイトに対してのみHTTPS経由でリクエストします。
収集する情報
当社がインデックスするもの:
- 製品名と説明
- 料金情報(公開されている場合)
- 機能と特徴
- 会社情報
- 公開されたレビューや推薦の声
収集しないもの:
- 個人ユーザーデータ
- ログイン認証情報
- 非公開または制限されたコンテンツ
- ペイウォールの背後にあるコンテンツ
ボットの確認
リクエストが本物のSaaS Browser Botからのものであり、ユーザーエージェントを偽装したスクレイパーでないことを確認するには、2段階のDNSチェックを使用してください。まず、リクエスト元IPアドレスの逆引きDNS(PTRレコード)を行います。ホスト名はcrawler.saasbrowser.comまたは*.saasbrowser.comに解決されるはずです。次に、そのホスト名の正引きDNSを行い、元のIPアドレスに解決されることを確認します。
例:
$ nslookup 45.55.138.37
37.138.55.45.in-addr.arpa name = crawler2.saasbrowser.com.
$ nslookup crawler2.saasbrowser.com
Non-authoritative answer:
Name: crawler2.saasbrowser.com
Address: 45.55.138.37
プライバシーとデータ
当社はプライバシーの保護とデータの責任ある取り扱いに努めています。インデックスされたデータの取り扱いとユーザーのプライバシーについての詳細は、プライバシーポリシーをご覧ください。
ご質問がある場合は[email protected]までお気軽にご連絡ください。