[WEB]&[Security]Programmierung

[tschulian]

Hallo Leute,
ich habe ein kleines aber wirklich hilfreiches Tool geschrieben das den Netzwerkverkehr auf Verbindungsanzahl analysiert und dann entscheidet OK max. Verbindungen in 1500ms über Grenzwert -> Blockieren / droppen.

Nun seit einziger Zeit werde ich nicht nur ein bisschen sondern richtig heftig von den robots von google genervt.

Habe meine Robots.txt schon auf toplevel in meinem Webspace, dennoch lässt er mich nicht in Ruhe.

User-agent: *
Disallow: /

User-agent: AdsBot-Google
Disallow: /

Hier ein Auszug der Schandtat:


hat jemand tipps oder tricks parat, um die Robots komplett zu blocken und ihnen zu sagen: ne euch brauch ich hier nicht?
Hab schon Stundenlangprobiert.
Auf dauer häufen sich natürlich die Verbindungen und mein kleines .net Progrämmchen verabschiedet sich mit einer Unknown unhandled exception...

 Exception Text

See the end of this message for details on invoking
just-in-time (JIT) debugging instead of this dialog box.

************** Exception Text **************
System.Net.NetworkInformation.NetworkInformationEx ception (0x80004005): Unknown error (0xc0000001)
at System.Net.NetworkInformation.SystemIPGlobalProper ties.GetAllTcpConnections()
at System.Net.NetworkInformation.SystemIPGlobalProper ties.GetActiveTcpConnections()
at DoSBlocker.frmMain.Work()
at DoSBlocker.frmMain.Timer1_Tick(Object sender, EventArgs e)
at System.Windows.Forms.Timer.TimerNativeWindow.WndPr oc(Message& m)
at System.Windows.Forms.NativeWindow.Callback(IntPtr hWnd, Int32 msg, IntPtr wparam, IntPtr lparam)


************** Loaded Assemblies **************
mscorlib
Assembly Version: 4.0.0.0
Win32 Version: 4.0.30319.17929 built by: FX45RTMREL
CodeBase: file:///C:/Windows/Microsoft.NET/Framework64/v4.0.30319/mscorlib.dll
----------------------------------------
DoSBlocker
Assembly Version: 1.0.0.0
Win32 Version: 1.0.0.0
CodeBase: file:///C:/Windows/Microsoft.NET/Framework64/v4.0.30319/amim/amim.exe
----------------------------------------
Microsoft.VisualBasic
Assembly Version: 10.0.0.0
Win32 Version: 11.0.50709.17929 built by: FX45RTMREL
CodeBase: file:///C:/Windows/Microsoft.Net/assembly/GAC_MSIL/Microsoft.VisualBasic/v4.0_10.0.0.0__b03f5f7f11d50a3a/Microsoft.VisualBasic.dll
----------------------------------------
System
Assembly Version: 4.0.0.0
Win32 Version: 4.0.30319.17929 built by: FX45RTMREL
CodeBase: file:///C:/Windows/Microsoft.Net/assembly/GAC_MSIL/System/v4.0_4.0.0.0__b77a5c561934e089/System.dll
----------------------------------------
System.Core
Assembly Version: 4.0.0.0
Win32 Version: 4.0.30319.17929 built by: FX45RTMREL
CodeBase: file:///C:/Windows/Microsoft.Net/assembly/GAC_MSIL/System.Core/v4.0_4.0.0.0__b77a5c561934e089/System.Core.dll
----------------------------------------
System.Windows.Forms
Assembly Version: 4.0.0.0
Win32 Version: 4.0.30319.17929 built by: FX45RTMREL
CodeBase: file:///C:/Windows/Microsoft.Net/assembly/GAC_MSIL/System.Windows.Forms/v4.0_4.0.0.0__b77a5c561934e089/System.Windows.Forms.dll
----------------------------------------
System.Drawing
Assembly Version: 4.0.0.0
Win32 Version: 4.0.30319.17929 built by: FX45RTMREL
CodeBase: file:///C:/Windows/Microsoft.Net/assembly/GAC_MSIL/System.Drawing/v4.0_4.0.0.0__b03f5f7f11d50a3a/System.Drawing.dll
----------------------------------------
System.Runtime.Remoting
Assembly Version: 4.0.0.0
Win32 Version: 4.0.30319.17929 built by: FX45RTMREL
CodeBase: file:///C:/Windows/Microsoft.Net/assembly/GAC_MSIL/System.Runtime.Remoting/v4.0_4.0.0.0__b77a5c561934e089/System.Runtime.Remoting.dll
----------------------------------------
System.Configuration
Assembly Version: 4.0.0.0
Win32 Version: 4.0.30319.17929 built by: FX45RTMREL
CodeBase: file:///C:/Windows/Microsoft.Net/assembly/GAC_MSIL/System.Configuration/v4.0_4.0.0.0__b03f5f7f11d50a3a/System.Configuration.dll
----------------------------------------
System.Xml
Assembly Version: 4.0.0.0
Win32 Version: 4.0.30319.17929 built by: FX45RTMREL
CodeBase: file:///C:/Windows/Microsoft.Net/assembly/GAC_MSIL/System.Xml/v4.0_4.0.0.0__b77a5c561934e089/System.Xml.dll
----------------------------------------

************** JIT Debugging **************
To enable just-in-time (JIT) debugging, the .config file for this
application or computer (machine.config) must have the
jitDebugging value set in the system.windows.forms section.
The application must also be compiled with debugging
enabled.

For example:

<configuration>
<system.windows.forms jitDebugging="true" />
</configuration>

When JIT debugging is enabled, any unhandled exception
will be sent to the JIT debugger registered on the computer
rather than be handled by this dialog box.

[tolio]

spricht etwas dagegen einfach die ip bereiche zu blocken?

[tschulian]

Schon probiert, ABER da das Tool die gleichen TCP Connections abfrägt wie die Firewall, erkennt er logischerweise auch geblockte die an der Firewall scheitern und zählt dennoch immer weiter mit hoch (siehe z.B die 216.58.211.78)...

[tolio]

sollte dein program nicht hinter der firewall sein anstatt auf der selben ebene?
ansonsten muss du halt deinem programm auch beibringen entsprechende verbindungen zu ignorieren

[RecK]

Die robots.txt ist nur eine "optionale" Sicherheitseinstellung.
Ich denke da halten sich 5-10% der Bots dran.
Eine weitere Möglichkeit wäre ein meta Tag (HTML) -> <meta name="robots" content="nofollow">
Allerdings ist Google eigentlich einer, der sich daran hält.
Der User-Agent ist nur ein Header-Feld also auch ich könnte dir diesen Header senden.

Hast du mal geschaut ob der Bot evt. ein Referer mitsendet?
Dann könntest du den daran erkennen.
Ansonsten eventuell mal das Paket posten, dass man sich das mal anschauen kann.
Denn jeder Bot ist anders, dieser würde ich behaupten gibt sich sogar nur als Google aus.