SaaS Browser Bot——爬虫信息
SaaS Browser 是一个免费且开放的搜索引擎，致力于帮助人们发现新的 SaaS 产品和软件解决方案。搜索完全免费，无需账户或注册。
将您的 SaaS 收录到 SaaS Browser，有助于潜在客户在主动搜索软件时发现您的解决方案。被收录进这样一个专门的 SaaS 搜索引擎，能让您的产品出现在正准备评估新工具的决策者面前，而且完全免费。如果我们的爬虫能够访问您的网站，您很可能已经在获得这种曝光。
想要更多控制权？您可以认领自己的资料、上传截图，以最佳状态展示您的产品。如果我们的爬虫尚未发现您的产品，提交收录申请既免费又简单（需要注册）。
关于我们的爬虫
SaaS Browser Bot 会在网络上爬取，以发现和收录 SaaS 产品、软件工具及相关内容。我们致力于负责任的爬取，并尊重网站管理员的设置偏好。
用户代理字符串
我们的爬虫会以以下用户代理标识自己：
Mozilla/5.0 (compatible; SaaSBrowserBot/1.0; +https://saasbrowser.com/bot)尊重您的设置偏好
robots.txt
我们完全遵守 robots.txt 指令。我们的爬虫在抓取您域名下的任何页面之前，都会先检查您的 robots.txt 文件。若要屏蔽我们的爬虫，请在您的 robots.txt 文件中添加以下内容：
User-agent: SaaSBrowserBot
Disallow: /Meta robots 标签
我们尊重 HTML meta 标签中的 noindex 指令：
<meta name="robots" content="noindex">HTTP 请求头
我们同样遵守 X-Robots-Tag HTTP 请求头：
X-Robots-Tag: noindex请注意，若您的网站添加了任何 noindex 指令，我们会将其从 SaaS 产品索引中移除。
爬取行为
- 每个域名每秒最多发起 1 次请求。
- 典型爬取频率约为每 30 天一次，用于刷新内容、检查您的网站是否仍在线，以及确认您是否希望将网站从我们的索引中移除。
- 仅通过 HTTPS 向拥有有效 SSL 证书的网站发起请求。
我们会收集哪些内容
我们会收录：
- 产品名称和描述
- 定价信息（如公开可用）
- 功能与能力
- 公司信息
- 公开的评价和推荐
我们不会收集：
- 个人用户数据
- 登录凭据
- 私密或受限内容
- 付费墙背后的内容
验证我们的爬虫身份
要验证某个请求确实来自 SaaS Browser Bot，而不是冒用我们用户代理的爬虫，可以使用两步 DNS 验证法。首先，对请求方 IP 地址进行反向 DNS 查询（PTR 记录）。该主机名应解析为 crawler.saasbrowser.com 或 *.saasbrowser.com。其次，对该主机名进行正向 DNS 查询，确认其能解析回原始 IP 地址。
示例：
$ nslookup 45.55.138.37
37.138.55.45.in-addr.arpa name = crawler2.saasbrowser.com.
$ nslookup crawler2.saasbrowser.com
Non-authoritative answer:
Name: crawler2.saasbrowser.com
Address: 45.55.138.37隐私与数据
我们致力于保护隐私并负责任地处理数据。有关我们如何处理已收录数据及用户隐私的信息，请参阅我们的隐私政策。
如有疑问，欢迎通过 [email protected] 联系我们。
