Suche (Hilfs-)Software

[LostInDreams]

Hallo zusammen,

vorab: ich suche hier keine Hacks oder ähnliches sondern möchte nur fragen, ob jemand von euch eine (kostenlose) Software kennt die folgendes kann:

Die Software soll auf google nach bestimmten Begriffen suchen, dabei sollen alle Suchergebnisse bis z.b. Seite 10 berücksichtigt werden.
Anschließend sollen die Links oder Infos unter den Links auf bestimmte Begriffe geprüft werden.
Trifft das zu soll das Ergebnis angezeigt werden.

Beispiel: Begriff "Computer" und die Ergebnisse sollen nach dem Keyword "wikipedia" durchsucht werden.
Das Ergebniss sollte dann anzeigen auf welcher "position" sich der Treffer befindet worin wikipedia steht.

Danke für eure Hilfe.

Grüße

[Autrux]

Ich glaube da können dir unsere Freunde aus dem Coding Bereich besser weiter helfen.
Im Endeffekt suchst du nach einem Bot.
Bislang weder so etwas gebraucht, noch gesucht.

[Anonimussi]

Python webcrawler + regex wenn du es selbst machen möchtest.
Ansonsten hat google vielleicht selbst etwas in der api die das kann.

[LekoArts]

#moved

[Mysthik]

Funktioniert nicht. Google sperrt deine Anfragen nach ein paar Sekunden, sobal die erkennen das ein Bot sucht und kein Mensch. Ich hab mal versucht google über Java anzufragen, wurde aber nach ca. 30 Anfragen oder so gesperrt.

Mit Bing hat man da bessere Chancen. Wenn es dir nur um die Daten geht und nicht um die Websites, die verlinkt sind, kannst du alternativ auf eine ontologische Datenbank wie DBpedia oder gleich auf Wikipedia zurückgreifen.

[LostInDreams]

Originally Posted by Mysthik

Funktioniert nicht. Google sperrt deine Anfragen nach ein paar Sekunden, sobal die erkennen das ein Bot sucht und kein Mensch. Ich hab mal versucht google über Java anzufragen, wurde aber nach ca. 30 Anfragen oder so gesperrt.

Mit Bing hat man da bessere Chancen. Wenn es dir nur um die Daten geht und nicht um die Websites, die verlinkt sind, kannst du alternativ auf eine ontologische Datenbank wie DBpedia oder gleich auf Wikipedia zurückgreifen.

Das Google "schnelle" Anfragen sperrt ist mir bewusst. Es muss dann in der Regel ein Chapta eingegeben werden. Dafür wäre ich ja am Platz aber ich möchte das lästige durchstölbern der Seiten sowie das suchen der "Treffer" erleichtern.

Vielen Dank schon mal für eure Hilfe. Ich lasse den Thread in der Hoffnung auf eine Lösung noch bisschen offen.

[xEr0r]

Naja das Suchverhalten des Bots/Tools muss Menschenähnliches Verhalten aufweisen. Vielleicht reicht es da, mit random delays zu arbeiten?

[Menan]

Originally Posted by xEr0r

Naja das Suchverhalten des Bots/Tools muss Menschenähnliches Verhalten aufweisen. Vielleicht reicht es da, mit random delays zu arbeiten?

Googles Algorithmen sind etwas komplexer, als nur die Zeit deiner Interaktionen zu messen.

Da musst du schon beim Projekt-Design drüber nachdenken.