SaaS Browser Bot - Informationen zum Crawler

SaaS Browser ist eine kostenlose und offene Suchmaschine, die Menschen dabei hilft, neue SaaS-Produkte und Softwarelösungen zu entdecken. Die Suche ist völlig kostenlos, es ist kein Konto und keine Anmeldung erforderlich.

Ein Eintrag bei SaaS Browser hilft potenziellen Kunden, Ihre Lösung zu entdecken, wenn sie aktiv nach Software suchen. Die Indexierung in einer dedizierten SaaS-Suchmaschine bringt Ihr Produkt vor Entscheidungsträger, die bereit sind, neue Tools zu bewerten, und das völlig kostenlos. Wenn unser Crawler auf Ihre Website zugreifen kann, erhalten Sie diese Sichtbarkeit wahrscheinlich schon jetzt.

Sie möchten mehr Kontrolle? Sie können Ihr Profil beanspruchen, Screenshots hochladen und Ihr Produkt im besten Licht präsentieren. Falls unser Bot Ihr Produkt noch nicht gefunden hat, können Sie es kostenlos und einfach zur Aufnahme einreichen (eine Anmeldung ist erforderlich).

Über unseren Crawler

SaaS Browser Bot durchsucht das Web, um SaaS-Produkte, Softwaretools und verwandte Inhalte zu entdecken und zu indexieren. Wir setzen uns für verantwortungsvolles Crawling ein und respektieren die Präferenzen von Webmastern.

User-Agent-String

Unser Bot identifiziert sich mit folgendem User-Agent:

Mozilla/5.0 (compatible; SaaSBrowserBot/1.0; +https://saasbrowser.com/bot)

Ihre Präferenzen respektieren

robots.txt

Wir respektieren robots.txt-Anweisungen vollständig. Unser Bot prüft Ihre robots.txt-Datei, bevor er Seiten auf Ihrer Domain crawlt. Um unseren Bot zu blockieren, fügen Sie Folgendes zu Ihrer robots.txt-Datei hinzu:

User-agent: SaaSBrowserBot
Disallow: /

Meta-Robots-Tags

Wir respektieren die noindex-Anweisung in HTML-Meta-Tags:

<meta name="robots" content="noindex">

HTTP-Header

Wir beachten außerdem den X-Robots-Tag-HTTP-Header:

X-Robots-Tag: noindex

Bitte beachten Sie, dass jede noindex-Anweisung auf Ihrer Website dazu führt, dass sie aus unserem Index der SaaS-Produkte entfernt wird.

Crawling-Verhalten

• Maximal 1 Anfrage pro Sekunde pro Domain.
• Eine typische Crawl-Häufigkeit von einmal alle 30 Tage, um Inhalte zu aktualisieren, zu prüfen, ob Ihre Website noch online ist, und zu prüfen, ob Sie Ihre Website aus unserem Index entfernen lassen möchten.
• Anfragen werden nur über HTTPS an Websites mit gültigem SSL-Zertifikat gestellt.

Was wir erfassen

Wir indexieren:

• Produktnamen und -beschreibungen
• Preisinformationen (sofern öffentlich verfügbar)
• Funktionen und Fähigkeiten
• Unternehmensinformationen
• Öffentliche Bewertungen und Erfahrungsberichte

Wir erfassen nicht:

• Persönliche Nutzerdaten
• Anmeldedaten
• Private oder zugangsbeschränkte Inhalte
• Inhalte hinter Bezahlschranken

Unseren Bot verifizieren

Um zu überprüfen, ob eine Anfrage tatsächlich von SaaS Browser Bot stammt und nicht von einem Scraper, der unseren User-Agent fälscht, verwenden Sie einen zweistufigen DNS-Check. Führen Sie zunächst eine Reverse-DNS-Abfrage (PTR-Eintrag) für die anfragende IP-Adresse durch. Der Hostname sollte zu crawler.saasbrowser.com oder *.saasbrowser.com auflösen. Führen Sie anschließend eine Vorwärts-DNS-Abfrage für diesen Hostnamen durch und bestätigen Sie, dass sie wieder zur ursprünglichen IP-Adresse führt.

Zum Beispiel:

$ nslookup 45.55.138.37
37.138.55.45.in-addr.arpa    name = crawler2.saasbrowser.com.

$ nslookup crawler2.saasbrowser.com
Non-authoritative answer:
Name:    crawler2.saasbrowser.com
Address: 45.55.138.37

Datenschutz und Daten

Wir setzen uns für den Schutz der Privatsphäre und einen verantwortungsvollen Umgang mit Daten ein. Informationen darüber, wie wir mit indexierten Daten und dem Datenschutz der Nutzer umgehen, finden Sie in unserer Datenschutzrichtlinie.

Fragen? Kontaktieren Sie uns unter [email protected].