Gewusst wie
Trendiction aussperren
- Kurzinfo: htaccess TrendictionBot abwehren
- Wissenswert: TrendictionBot abwehren
- Ort: Freiburg
- Region/Kontinent: Europa
- Land: Germany
- Gut zu wissen: TrendictionBot aussperren
- Gelistet: 26. Oktober 2011 11:35
- Verfällt: Diese Anzeige ist abgelaufen
Beschreibung
Trendiction aussperren
htaccess TrendictionBot abwehren – Gewusst wie – TrendictionBot abwehren - TrendictionBot aussperren
Nervt Dich der TrendictionBot, hängt er den ganzen Tag auf Deiner Webseite rum und wühlt und wühlt und wühlt, macht ferngesteuerte Seitenaufrufe bis zum Sankt-Nimmerleinstag?, dann sperre ihn und ähnliche doch aus:
So hat es funktioniert:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^trendictionbot [NC,OR] # OD
RewriteCond %{HTTP_USER_AGENT} trendictionbot0.4.5 [NC]
RewriteRule .* – [F]
Sollte diese Maßnahme nicht mehr greifen liefern wir hier zu gegebener Zeit eine andere Maßnahme, um diesen Backlink-”Spionage”-Crawler, der immensen Traffic verursachen kann, wieder los zu werden.
Eines sollte klar sein, diese und ähnliche Tools werden mitunter auch von SEO-Agenturen und SEO-Dienstleistern – auch gegen gutes Entgeld – genutzt, die Deine Seite mit den gewonnen Daten aufs Korn nehmen können.
Frage: Warum solltest Du denen diese Daten freiwillig und kostenlos zur Verfügung stellen, insbesondere da sie mit dem Sammeln Deiner Webseitendaten fettes Geld verdienen?
Empfohlene Links
Webseitenschutz für Internetmarketer und Firmenwebseiten!
Firewall für Webseiten hilft gegen SEO-BOTS, SEO-SPIONAGE, SEO-TOOLS, BOTNETZE, ZOMBIESERVER und HIJACKING
Ihre Rechner und Firmen-PC's schützen Sie ja auch mittels Firewall gegen schräge Online-Vögel...
Jetzt einschalten: Firewall für Webseite
2 Antworten zu “Trendiction aussperren”
Antwort hinterlassen
Sie müssen angemeldet sein um Kontakt aufzunehmen.
Andere Einträge von: Internet Marketing
- Baidu Bot aussperren
- FlipboardProxy aussperren
- BacklinkCrawler aussperren
- Panopta aussperren
- AhrefsBot aussperren
Marketing Kategorien
- Gewusst Wie (7)
- Nischenstrategie (3)
Einträge heute
- Gewürze vermarkten (1 Seitenaufrufe)
- AhrefsBot aussperren (1 Seitenaufrufe)
- Trendiction aussperren (1 Seitenaufrufe)
beliebte Einträge
- AhrefsBot aussperren (485 Seitenaufrufe)
- Trendiction aussperren (445 Seitenaufrufe)
- FlipboardProxy aussperren (269 Seitenaufrufe)
- Panopta aussperren (253 Seitenaufrufe)
- BacklinkCrawler aussperren (209 Seitenaufrufe)
- Baidu Bot aussperren (186 Seitenaufrufe)
- Kuchen Torten verkaufen (151 Seitenaufrufe)
- Sistrix Crawler ignoriert robots.txt (146 Seitenaufrufe)
- Gewürze vermarkten (137 Seitenaufrufe)
- Schrauben online verkaufen (137 Seitenaufrufe)
Hallo,
Sollten wir dennoch zu viele Requests machen, dann lassen sie uns dies wissen so dass wir das kontrollieren können, und etwaige Fehler beheben können.
Wir bemühen uns den Traffic auf den Seiten die wir spidern so gering wie möglich zu halten:
Zusätzlich zum caching benutzen wir die Gzip Kompression um den Datentransfer zwischen Ihrem Server und den unseren zu minimieren.
Wir benutzen auch die If-Modified-Since und den ETag HTTP Header um unveränderte Seiten nicht doppelt herunterzuladen.
Wir adaptieren das Crawling Intervall anhand der Anzahl Posts und Ranking der Seite.
Wir unterstützen auch das Robots.txt Protokol: http://www.trendiction.com/de/publisher/bot
Und um auf Ihre finale Frage zu antworten:
Warum crawlen wir Webseiten: Damit Sie Ressourcen sparen. Ein eigenes Spidering durch jedes Medienunternehmen würde doch noch viel mehr Traffic, Last oder sogar Probleme generieren.
Fakt ist:
Der ganze Vorgang ist Euer Geschäftsmodell inklusive dynamischer Datenanalyse der Ziel-Seiten, die Euer “Spider” kostenfrei auf Kosten der Zielseiten und ohne vorherige Anfrage durchführt.
Im Übrigen könnt Ihr gerne die Listen der Firma Google “an-ab-zu-und-voll-spidern” und deren Reaktion abwarten…