Kommentare für Internet Marketing http://one-big-downline.de Online Marketing | Internetmarketing Tue, 08 Nov 2011 18:53:39 +0000 hourly 1 http://wordpress.org/?v=3.1.1 Kommentar zu AhrefsBot aussperren von Andy http://one-big-downline.de/web-marketing/ahrefsbot-aussperren/#comment-99 Andy Tue, 08 Nov 2011 18:53:39 +0000 http://one-big-downline.de/?post_type=ad_listing&p=3066#comment-99 Hallo, die Tipps sind ja gut und recht. Aber anstatt immer irgendwo etwas anzupassen oder die .htacces vollzuschreiben, gibt es ein ultimativ rabiates Script, das dubiose INet-Besucher rigoros aussperrt. Das Script ist wie ein Virenscanner und aktualisiert sich selber, um neu aufgetauchte Bots oder IP-Ranges zu sperren. Der Aufruf wird ganz einfach in den Webauftritt eingefügt. Jede von mir online gestellte Webseite geht nur noch mit diesem Script online. So sind die Kunden recht gut gegen Fake und Spam geschützt. Auch Traffic erzeugende "Tools" sind ausgesperrt. In den Log-Dateien sehe ich, dass bis zu 50% aller Zugriffe gesperrt werden. Tendenz steigend!!! Wer sich dafür interessiert, sollte sich einmal die deutsche Seite www.bot-trap.de ansehen. Gruss Andy Hallo,
die Tipps sind ja gut und recht. Aber anstatt immer irgendwo etwas anzupassen oder die .htacces vollzuschreiben, gibt es ein ultimativ rabiates Script, das dubiose INet-Besucher rigoros aussperrt. Das Script ist wie ein Virenscanner und aktualisiert sich selber, um neu aufgetauchte Bots oder IP-Ranges zu sperren. Der Aufruf wird ganz einfach in den Webauftritt eingefügt. Jede von mir online gestellte Webseite geht nur noch mit diesem Script online. So sind die Kunden recht gut gegen Fake und Spam geschützt. Auch Traffic erzeugende “Tools” sind ausgesperrt. In den Log-Dateien sehe ich, dass bis zu 50% aller Zugriffe gesperrt werden. Tendenz steigend!!!

Wer sich dafür interessiert, sollte sich einmal die deutsche Seite http://www.bot-trap.de ansehen.

Gruss Andy

]]> Kommentar zu Trendiction aussperren von Internet Marketing http://one-big-downline.de/web-marketing/trendiction-aussperren/#comment-95 Internet Marketing Fri, 28 Oct 2011 16:56:14 +0000 http://one-big-downline.de/?post_type=ad_listing&p=3072#comment-95 Fakt ist: Der ganze Vorgang ist Euer Geschäftsmodell inklusive dynamischer Datenanalyse der Ziel-Seiten, die Euer "Spider" kostenfrei auf Kosten der Zielseiten und ohne vorherige Anfrage durchführt. Im Übrigen könnt Ihr gerne die Listen der Firma Google "an-ab-zu-und-voll-spidern" und deren Reaktion abwarten... Fakt ist:

Der ganze Vorgang ist Euer Geschäftsmodell inklusive dynamischer Datenanalyse der Ziel-Seiten, die Euer “Spider” kostenfrei auf Kosten der Zielseiten und ohne vorherige Anfrage durchführt.

Im Übrigen könnt Ihr gerne die Listen der Firma Google “an-ab-zu-und-voll-spidern” und deren Reaktion abwarten…

]]> Kommentar zu Trendiction aussperren von Thibaut Britz http://one-big-downline.de/web-marketing/trendiction-aussperren/#comment-94 Thibaut Britz Fri, 28 Oct 2011 16:05:13 +0000 http://one-big-downline.de/?post_type=ad_listing&p=3072#comment-94 Hallo, Sollten wir dennoch zu viele Requests machen, dann lassen sie uns dies wissen so dass wir das kontrollieren können, und etwaige Fehler beheben können. Wir bemühen uns den Traffic auf den Seiten die wir spidern so gering wie möglich zu halten: Zusätzlich zum caching benutzen wir die Gzip Kompression um den Datentransfer zwischen Ihrem Server und den unseren zu minimieren. Wir benutzen auch die If-Modified-Since und den ETag HTTP Header um unveränderte Seiten nicht doppelt herunterzuladen. Wir adaptieren das Crawling Intervall anhand der Anzahl Posts und Ranking der Seite. Wir unterstützen auch das Robots.txt Protokol: http://www.trendiction.com/de/publisher/bot Und um auf Ihre finale Frage zu antworten: Warum crawlen wir Webseiten: Damit Sie Ressourcen sparen. Ein eigenes Spidering durch jedes Medienunternehmen würde doch noch viel mehr Traffic, Last oder sogar Probleme generieren. Hallo,

Sollten wir dennoch zu viele Requests machen, dann lassen sie uns dies wissen so dass wir das kontrollieren können, und etwaige Fehler beheben können.

Wir bemühen uns den Traffic auf den Seiten die wir spidern so gering wie möglich zu halten:

Zusätzlich zum caching benutzen wir die Gzip Kompression um den Datentransfer zwischen Ihrem Server und den unseren zu minimieren.
Wir benutzen auch die If-Modified-Since und den ETag HTTP Header um unveränderte Seiten nicht doppelt herunterzuladen.
Wir adaptieren das Crawling Intervall anhand der Anzahl Posts und Ranking der Seite.

Wir unterstützen auch das Robots.txt Protokol: http://www.trendiction.com/de/publisher/bot

Und um auf Ihre finale Frage zu antworten:
Warum crawlen wir Webseiten: Damit Sie Ressourcen sparen. Ein eigenes Spidering durch jedes Medienunternehmen würde doch noch viel mehr Traffic, Last oder sogar Probleme generieren.

]]>