Informationen für Webmaster

Im Rahmen einiger Projekte werden Inhalte von Webseiten mit Hilfe eines Crawlers besucht. Dies funktioniert ähnlich wie bei Google[o].

Neben projektspezifischen Useragents, reagiert der Retresco Crawler auf folgende Agents in der robots.txt:

  • RTR-BLM-Crawler
  • Googlebot
  • Slurp
  • Bingbot
  • und natürlich *

Falls also unerwünschte Inhalte aufgesucht werden oder die Crawlgeschwindigkeit für Ihre Seite zu hoch ist, wären entsprechende Einträge in der robots.txt ein Weg, den Crawler einzuschränken.

Haben sie dennoch Beschwerden, kontaktieren Sie uns bitte über support[at]retresco.de, damit wir eine Lösung erarbeiten können.

[0] Weiterführende Informationen zum Thema Crawling: https://support.google.com/webmasters/answer/182072?hl=en