Wie blocke ich einen Bot aus Boardman/USA - sellerforum.de (2024)

Seit ca. einer Woche greift ein Bot aus Boardman in den USA auf meine Seite zu.
Er öffnet immer nur eine Seite und ist dann gleich wieder wieder weg, um sofort mit einer anderen IP eine weitere Seite zu öffnen.
Habe gelesen, dass dies ein gutes Mittel der Konkurrenz ist, um Seiten bei Google abzuwerten! Wenn Besucher nur eine Seite besuchen, dann ist die Seite (laut Google Richtlinien) uninteressant. Google wertet die Seite ab.

Wie kann man den Bot stoppen oder blockieren?

So ganz einfach geht es leider nicht. Du kannst bestommte Dinge in der robots.txt und in der .htaccess Datei festlegen.
Das Ding ist aber, das bad bots diese Einstellungen ignorieren oder umgehen, da sie nicht nur die IP, sondern auch den user agent maskieren und sich somit als normaler Browser ausgeben können.

Wenn du aber einen bestimmten user agent immer wieder siehst, kannst du den direkt blocken und auf eine 403 Fehlerseite leiten.

Hostest du mit appache oder nginx, oder gar iis unter Windows? Da sind die Methoden zum Blocken nämlich jeweils leicht unterschiedlich. Am besten du erfragst das bei deiem Hostingprovider, ob er dir helfen kann

Such mal ein bisschen bei Google. Ich konnte nur auf die Schnelle schauen, man sagt dort, der Bot käme von Amazon. Kann ich aber natürlich nicht prüfen: http://techwhet.jduy.com/2014/09/google…filter-out.html

Das beantwortet jetzt Deine Frage nicht, aber wirft vielleicht die neue Frage auf, ob Du ihn blocken willst.

Dass da kein natürliches Surfverhalten dahinter steckt, weiß auch Google und ignoriert solche Aufrufe für das Ranking. Wenn es dich stört und du einen eigenen Server hast, dann sperre den IP-Bereich in der Firewall. Wenn du nur Shared-Hosting hast, dann sperre den IP-Bereich in der htaccess.

Das wird auch nicht Amazon selbst sein, sondern jemand nutzt einfach die Mietserver von Amazon um Angebote zu crawlen, z.B. eine Preisvergleichsseite oder ein Repricer.

Ripe hat ein Dokument, wo (fast) alle IPs aufgelistet sind, wem sie gehören und in welchem Land sie registriert wurden:

https://ftp.ripe.net/ripe/stats/membership/alloclist.txt

Daraus kann man sich interessante Ausschlusslisten bauen.

danke für Eure Antworten!

@ qds
Ich werde mich wohl an meinen Hoster wenden - der Server läuft auf nginx
Den User kann ich nicht blocken, da er ja immer neue IP Adressen hat und nur der Ort von wo aus er uns besucht ist immer der gleiche.

@ buysellonline
Diese Seite hatte ich auch schon entdeckt.

xMerchant
Wenn Google dieses Surfverhalten (und den Bot der dahintersteckt) erkennen kann, dann ist es ja auch nicht vonnöten den IP-Bereich zu sperren.
ich schaue es mir noch dieses Wochenende an und werde mit meinem Hoster sprechen.

heinzfriedrich
die IP 54.245.178.145 ist nicht gelistet.

Mit diesen IPs aus den USA wurde gestern Abend innerhalb einer halben Stunde der Shop besucht:
34.209.27.239
54.245.178.145
34.220.116.194
54.191.147.48
54.187.15.79
54.245.176.152
34.217.35.222
54.213.114.104
34.220.7.243
54.202.19.146
34.215.222.116
34.220.136.77
54.68.112.112
54.218.50.29
34.208.12.1
34.220.80.20
52.37.59.12
52.10.147.45
18.236.233.10

[Blockierte Grafik: http://666kb.com/i/dus63f4za1g99wwka.png]

Die IP 54.245.178.145 gehört zu:

NetRange: 54.240.0.0 - 54.255.255.255
CIDR: 54.240.0.0/12
NetName: AMAZON-2011L
NetHandle: NET-54-240-0-0-1
Parent: NET54 (NET-54-0-0-0-0)
NetType: Direct Allocation
OriginAS: AS16509
Organization: Amazon Technologies Inc. (AT-88-Z)
RegDate: 2011-12-09
Updated: 2012-04-02
Ref: https://whois.arin.net/rest/net/NET-54-240-0-0-1

Ich finde es auch interessant, dass auf dem Screenshot als Browser Safari angezeigt wird (wenn meine Augen mich nicht täuschen), das OS aber Linux ist.

Also entweder verwendet da einer wine oder Emulatoren, da Safari nicht nativ unter Linux läuft, oder einen user agent changer. Beides wäre doch recht komisch... Oder dein Analytics ist verwirrt, weil es den bot nicht kennt (ist aber eher unwahrscheinlich...)

So viele Besuch innerhalb einer Stunde sind auch nicht normal, da hast du volkommen recht.

P.S.: User Agent ist etwas anderes als user