Skip to content

unbrav

Geschrieben von Andre Heinrichs am
Warum hält sich der Bot mit dem Useragent 'gonzo1[P]+http://www.suchen.de/faq.html' vvon der Adresse de-crawler6.suchen.de eigentlich nicht an den Hinweis in der robots.txt, den ich da schon vor einiger Zeit deponiert haben muss, der User-agent: gonzo* jeden Zugriff auf meine Seite verbietet.

Wie ich darauf komme, dass das Viech mein Verbot ignoriert? Naja, dieser Bot ist mir gerade in den Benutzer-Statistiken aufgefallen, weil er gerade massiv Zugriffe auf mein Blog absetzt. Für einen gut trainierten Bot sollte eigentlich ein einziger Zugriff auf die robots.txt ausreichen, um festzustellen, dass er nicht erwünscht ist.


Trackbacks

Keine Trackbacks

Kommentare

Ansicht der Kommentare: Linear | Verschachtelt

Noch keine Kommentare

Kommentar schreiben

HTML-Tags werden in ihre Entities umgewandelt.
Standard-Text Smilies wie :-) und ;-) werden zu Bildern konvertiert.
Die angegebene E-Mail-Adresse wird nicht dargestellt, sondern nur für eventuelle Benachrichtigungen verwendet.

Um maschinelle und automatische Übertragung von Spamkommentaren zu verhindern, bitte die Zeichenfolge im dargestellten Bild in der Eingabemaske eintragen. Nur wenn die Zeichenfolge richtig eingegeben wurde, kann der Kommentar angenommen werden. Bitte beachten Sie, dass Ihr Browser Cookies unterstützen muss, um dieses Verfahren anzuwenden.
CAPTCHA

BBCode-Formatierung erlaubt
Formular-Optionen