unbrav
Warum hält sich der Bot mit dem Useragent 'gonzo1[P]+http://www.suchen.de/faq.html' vvon der Adresse de-crawler6.suchen.de eigentlich nicht an den Hinweis in der robots.txt, den ich da schon vor einiger Zeit deponiert haben muss, der User-agent: gonzo* jeden Zugriff auf meine Seite verbietet.
Wie ich darauf komme, dass das Viech mein Verbot ignoriert? Naja, dieser Bot ist mir gerade in den Benutzer-Statistiken aufgefallen, weil er gerade massiv Zugriffe auf mein Blog absetzt. Für einen gut trainierten Bot sollte eigentlich ein einziger Zugriff auf die robots.txt ausreichen, um festzustellen, dass er nicht erwünscht ist.
Kommentare
Ansicht der Kommentare: Linear | Verschachtelt