[WEB]&[Security]Programmierung

04/17/2015 14:13 tschulian#1
Hallo Leute,
ich habe ein kleines aber wirklich hilfreiches Tool geschrieben das den Netzwerkverkehr auf Verbindungsanzahl analysiert und dann entscheidet OK max. Verbindungen in 1500ms über Grenzwert -> Blockieren / droppen.

Nun seit einziger Zeit werde ich nicht nur ein bisschen sondern richtig heftig von den robots von google genervt.

Habe meine Robots.txt schon auf toplevel in meinem Webspace, dennoch lässt er mich nicht in Ruhe.

Code:
User-agent: *
Disallow: /

User-agent: AdsBot-Google
Disallow: /
Hier ein Auszug der Schandtat:
[Only registered and activated users can see links. Click Here To Register...]

hat jemand tipps oder tricks parat, um die Robots komplett zu blocken und ihnen zu sagen: ne euch brauch ich hier nicht?
Hab schon Stundenlangprobiert.
Auf dauer häufen sich natürlich die Verbindungen und mein kleines .net Progrämmchen verabschiedet sich mit einer Unknown unhandled exception...

04/17/2015 14:54 tolio#2
spricht etwas dagegen einfach die ip bereiche zu blocken?
04/17/2015 15:26 tschulian#3
Schon probiert, ABER da das Tool die gleichen TCP Connections abfrägt wie die Firewall, erkennt er logischerweise auch geblockte die an der Firewall scheitern und zählt dennoch immer weiter mit hoch (siehe z.B die 216.58.211.78)...
04/17/2015 16:10 tolio#4
sollte dein program nicht hinter der firewall sein anstatt auf der selben ebene?
ansonsten muss du halt deinem programm auch beibringen entsprechende verbindungen zu ignorieren
04/25/2015 17:19 RecK#5
Die robots.txt ist nur eine "optionale" Sicherheitseinstellung.
Ich denke da halten sich 5-10% der Bots dran.
Eine weitere Möglichkeit wäre ein meta Tag (HTML) -> <meta name="robots" content="nofollow">
Allerdings ist Google eigentlich einer, der sich daran hält.
Der User-Agent ist nur ein Header-Feld also auch ich könnte dir diesen Header senden.

Hast du mal geschaut ob der Bot evt. ein Referer mitsendet?
Dann könntest du den daran erkennen.
Ansonsten eventuell mal das Paket posten, dass man sich das mal anschauen kann.
Denn jeder Bot ist anders, dieser würde ich behaupten gibt sich sogar nur als Google aus.