Beschreibung

Sistrix Crawler aussperren

Sistrix Crawler ignoriert robots.txt – Sistrix hält sich nicht an die Stop-Anweisungen der robots.txt – Webseitenschutz vor Sistrix Seotool Spion ist machbar!

• 176.9.51.136 – GET – HTTP/1.1 – Wednesday, January 4th 2012 @ 04:22:42 – Mozilla/5.0 (compatible; SISTRIX Crawler; http://crawler.sistrix.net/)

  netname:         DE-HETZNER-20110517
  org:             ORG-HOA1-RIPE
  descr:           Hetzner Online AG

Das “beste Seo-Tool” ignoriert robots.txt!

Liebe Sistrix-Profis, crawlt doch bitte Google…

Seo-Tool-Abhilfe-Empfehlungen:

Hilfe-Tools zur Abwehr von Seo-Spionen:

kostenloses Tool: Wer sich dafür interessiert, sollte sich einmal die deutsche Seite Bot-Trap ansehen.

kostenpflichtigesTool: Wer interessiert ist an Unterstützung von Leuten, die nichts anderes tun als solche Bots, Spionagetools, Hijacker und Botnetze zu jagen, sollte sich einmal deren deutsche Seite ansehen: Firewall für Webseite.