WebAutomation mit Python

12/22/2018 16:46 Mad0ck#1
Servus,

Ich will nun von AutoIT auf Python umsteigen, da man damit wesentlich mehr machen kann.

Ich habe immer von den Silenium Webdriver Modul gelesen.
Soweit sogut.
Tutorial gesucht, installiert ( IDE = PyCharm ) -> wollte einen simplen website aufruf machen => nichts geht.

Es zeigt auch schon Fehler an, wenn ich das modul importieren will:
PHP Code:
from selenium import webdriver

driver = webdriver.Forefox()

driver.get("https://www.google.com/?hl=de") 
Snippet:
[Only registered and activated users can see links. Click Here To Register...]


Hat damit schonmal wer gearbeitet und hatte das gleiche Problem ?
Finde im web wenig dazubis auf java version, und selenium version.
Beides jedoch up2date


Gibt es alternativen, oder oft genützte Module für web Automatisierung ?

lg
12/22/2018 16:50 florian0#2
Bist du dir sicher, dass du "Firefox" richtig geschrieben hast?
12/22/2018 17:46 Mad0ck#3
Quote:
Originally Posted by florian0 View Post
Bist du dir sicher, dass du "Firefox" richtig geschrieben hast?
hopla. unter firefox / Firefox findet er aber auch nix ^^

So habe eine Lösung gefunden.
Die Installer sowie pip funktioniert von hinten bis vorne nicht.

Werde das gleich noch am Notebook einrichten, und dann ne Lösung dazu schreiben


lg
12/22/2018 20:04 Der-Eddy#4
Hast du dir die [Only registered and activated users can see links. Click Here To Register...] durchgelesen?
Für Firefox musst du zuerst das geckodriver Paket installieren

Je nach Aufgabenstellung ist es vielleicht viel effizienter und einfacher über direkte HTTTP(S) Requests dein Script zu erstellen? Das spart das öffnen von Firefox sowie geckodriver Paket und sowieso

Quote:
Originally Posted by Mad0ck View Post
So habe eine Lösung gefunden.
Die Installer sowie pip funktioniert von hinten bis vorne nicht.
Glaube da liegt eher ein Fehler bei der Benutzung vor
PIP ist mächtig, solange man weiß wie man es benutzt

Wenn du ein Paket im userspace installieren möchtest, musst du ein --user anhängen
ohne --user musst du deine Shell mit Administratorrechten ausführen damit PIP ins globale Verzeichnis schreiben kann
das müsste so der häufigste Problem sein
12/22/2018 21:01 Mad0ck#5
Quote:
Originally Posted by Der-Eddy View Post
Hast du dir die [Only registered and activated users can see links. Click Here To Register...] durchgelesen?
Für Firefox musst du zuerst das geckodriver Paket installieren

Je nach Aufgabenstellung ist es vielleicht viel effizienter und einfacher über direkte HTTTP(S) Requests dein Script zu erstellen? Das spart das öffnen von Firefox sowie geckodriver Paket und sowieso



Glaube da liegt eher ein Fehler bei der Benutzung vor
PIP ist mächtig, solange man weiß wie man es benutzt

Wenn du ein Paket im userspace installieren möchtest, musst du ein --user anhängen
ohne --user musst du deine Shell mit Administratorrechten ausführen damit PIP ins globale Verzeichnis schreiben kann
das müsste so der häufigste Problem sein

pip kopiert die lib, leider nicht in pythin Inst. verzeichnis.
Das ist das Problem.
[Only registered and activated users can see links. Click Here To Register...]
Hier habe ich das ganze Problem beschrieben inkl Problemlösung

Uhm hab ehrlich gesagt keine Ahnung, wie ich das nun so mittels http(s) übergeben sollte in python.
Vorallen, wenn ich dann später Daten von der website auslesen will von diversen BG's.
Wenn du da nen link hättest, würd ich mich definitiv einlesen.

Will halt atm von nem AutoIt script, ein fach auf python umsteigen, da ich so kein MouseMove benützen muss etc.


Geht halt nur darum, dass ich mit Pyhton sowas noch nie gemacht habe, und nach langen googlen, ich hauptsächlich auf Selenium gestoßen bin zwecks webautomatisierung .-.

lg
12/22/2018 21:32 Der-Eddy#6
Quote:
Originally Posted by Mad0ck View Post
pip kopiert die lib, leider nicht in pythin Inst. verzeichnis.
Das ist das Problem.
[Only registered and activated users can see links. Click Here To Register...]
Hier habe ich das ganze Problem beschrieben inkl Problemlösung

Uhm hab ehrlich gesagt keine Ahnung, wie ich das nun so mittels http(s) übergeben sollte in python.
Vorallen, wenn ich dann später Daten von der website auslesen will von diversen BG's.
Wenn du da nen link hättest, würd ich mich definitiv einlesen.

Will halt atm von nem AutoIt script, ein fach auf python umsteigen, da ich so kein MouseMove benützen muss etc.


Geht halt nur darum, dass ich mit Pyhton sowas noch nie gemacht habe, und nach langen googlen, ich hauptsächlich auf Selenium gestoßen bin zwecks webautomatisierung .-.

lg
Deine derzeitige Lösung arbeitet ja mit Mausklicks und langem webview rendering vom Browser

HTTP(S) Requests sind dagegen die Anfragen an die Webserver die im Hintergrund ablaufen wenn du z.b. auf einen Link klickst
über eine GET Request holt man z.B. den Inhalt einer Webseite und über POST füllt man z.B. ein Formular aus

über Add-ons wie HTTP Header Live kann man diese Anfragen aus dem Hintergrund mitschneiden und manipulieren
Beispiel wie ich auf Reddit einen Thread erstelle:

[Only registered and activated users can see links. Click Here To Register...]

Würde ich die POST Request so noch mal senden, hätte ich nun 2 Threads

Ich habe jedoch leider kein passendes Tutorial dafür :o
12/23/2018 00:05 Mad0ck#7
Quote:
Originally Posted by Der-Eddy View Post
Deine derzeitige Lösung arbeitet ja mit Mausklicks und langem webview rendering vom Browser

HTTP(S) Requests sind dagegen die Anfragen an die Webserver die im Hintergrund ablaufen wenn du z.b. auf einen Link klickst
über eine GET Request holt man z.B. den Inhalt einer Webseite und über POST füllt man z.B. ein Formular aus

über Add-ons wie HTTP Header Live kann man diese Anfragen aus dem Hintergrund mitschneiden und manipulieren
Beispiel wie ich auf Reddit einen Thread erstelle:

[Only registered and activated users can see links. Click Here To Register...]

Würde ich die POST Request so noch mal senden, hätte ich nun 2 Threads

Ich habe jedoch leider kein passendes Tutorial dafür :o
Hmm okey verstehe was du meinst.

Das mit "Get" wäre also so etwas wie das requests Modul mit dem beautiful Soup Modul.
Crawled html code, verarbeitet ihn, so das er manipulierbar ( bzw eher verarbeitbar) ist und schickt ihn wieder ab, mit den daten die man will.

Mein Anwendungsgebiet wäre zB folgendes.
Ich suche auf website X einen Button der Klasse btn_send mit der id "iwas".
Dieser Button soll gedrückt werden, wenn die checkbox darüber mit classe checkbox_all und der id "iwas" angehackt ist.

Und da hätte ich atm 0.0 Plan wie ich das mit Post und Get machen sollte.


Ich habe im Netz was über headless scripts gelesen ohne UI.
Script wird ausgeführt, ohne das der user iwas mitbekommt / sieht.

Hab noch nie sowas mit python gemacht, und auf git haben 3 Leute die so etwas bereits gemacht haben was ich vorhabe mit beautifulsoup und requets modul gemacht x.x

lg
12/23/2018 00:21 False#8
Quote:
Originally Posted by Mad0ck View Post
Hmm okey verstehe was du meinst.

Das mit "Get" wäre also so etwas wie das requests Modul mit dem beautiful Soup Modul.
Crawled html code, verarbeitet ihn, so das er manipulierbar ( bzw eher verarbeitbar) ist und schickt ihn wieder ab, mit den daten die man will.

Mein Anwendungsgebiet wäre zB folgendes.
Ich suche auf website X einen Button der Klasse btn_send mit der id "iwas".
Dieser Button soll gedrückt werden, wenn die checkbox darüber mit classe checkbox_all und der id "iwas" angehackt ist.

Und da hätte ich atm 0.0 Plan wie ich das mit Post und Get machen sollte.


Ich habe im Netz was über headless scripts gelesen ohne UI.
Script wird ausgeführt, ohne das der user iwas mitbekommt / sieht.

Hab noch nie sowas mit python gemacht, und auf git haben 3 Leute die so etwas bereits gemacht haben was ich vorhabe mit beautifulsoup und requets modul gemacht x.x

lg
Da man als Entwickler nicht nur wissen sollte wie die Programmiersprache funktioniert würde ich dir raten dich einzulesen wie http generell funktioniert.

Wenn du das einmal verstanden hast kannst du mittels der Entwicklerkonsole (F12) im Netzwerktab einfach die Requests nachlesen und innerhalb wenigen Minuten nachbauen.

Da du z.B. geschrieben hast du willst das ein Button geklickt wird, wenn die checkbox darüber mit classe checkbox_all und der id "iwas" angehackt ist.
Das macht in diesem Denken wenig Sinn, da es so kein Button gibt sondern einfach nur Daten/Text (In diesem Fall Html).
12/23/2018 10:26 Mad0ck#9
Quote:
Originally Posted by .ƒaℓsє. View Post
Da man als Entwickler nicht nur wissen sollte wie die Programmiersprache funktioniert würde ich dir raten dich einzulesen wie http generell funktioniert.

Wenn du das einmal verstanden hast kannst du mittels der Entwicklerkonsole (F12) im Netzwerktab einfach die Requests nachlesen und innerhalb wenigen Minuten nachbauen.

Da du z.B. geschrieben hast du willst das ein Button geklickt wird, wenn die checkbox darüber mit classe checkbox_all und der id "iwas" angehackt ist.
Das macht in diesem Denken wenig Sinn, da es so kein Button gibt sondern einfach nur Daten/Text (In diesem Fall Html).
Werd mich heute mal einlesen.
Und mit der Klasse bzw ID meinte ich das gezielte suchen von Elementen der Website über deren Klassen und ID's (css).

Hab mich gestern evt. etwas unsachlich ausgedrückt. Hab auch viel crap geschrieben wie " classes ". Keine Ahnung was da genau los war ^^.

Jedenfalls danke für die Tipps.

Ob man nun sieht, dass sich ein Browser öffnet oder nicht ist mir vorerst egal.
Ich will erstmal machen, dass ich was in der Hand habe.
Danach gerne richtig, dafür weiß ich da dann schon wie ich besser an das ganze ran gehe.

Am liebsten wär mir ja nen kompletter Guide / TuT von ner Person die sowas öfters macht, um direkt zu sehen mit was und wie man richtig arbeitet.
Aber sowas gibts nunmal selten -> Darum probieren und später nochmals und nochmals und nochmals ^^.

Lg
12/23/2018 13:52 False#10
Quote:
Originally Posted by Mad0ck View Post
Werd mich heute mal einlesen.
Und mit der Klasse bzw ID meinte ich das gezielte suchen von Elementen der Website über deren Klassen und ID's (css).

Hab mich gestern evt. etwas unsachlich ausgedrückt. Hab auch viel crap geschrieben wie " classes ". Keine Ahnung was da genau los war ^^.

Jedenfalls danke für die Tipps.

Ob man nun sieht, dass sich ein Browser öffnet oder nicht ist mir vorerst egal.
Ich will erstmal machen, dass ich was in der Hand habe.
Danach gerne richtig, dafür weiß ich da dann schon wie ich besser an das ganze ran gehe.

Am liebsten wär mir ja nen kompletter Guide / TuT von ner Person die sowas öfters macht, um direkt zu sehen mit was und wie man richtig arbeitet.
Aber sowas gibts nunmal selten -> Darum probieren und später nochmals und nochmals und nochmals ^^.

Lg
Was du mit Id und class meintest war mir klar, das wäre dann halt ein request um das Html zu bekommen und dieses kannst du dann belibieg parsen z.B. mittels Regex z.B :
[Only registered and activated users can see links. Click Here To Register...]

Html kommt aus diesem Thread und es wird folgendes ermittelt:
Username => Mad0ck
Usertitle => WuubWuub
Level => 14
Aktuelle Erfahrung (bis nächstes Level ) in % => 93


Würdest du das ganze in PHP machen könnte ich dir helfen, da ich mit Python noch nie gearbeitet habe dort nicht...
Habe mal schnell gesucht und das [Only registered and activated users can see links. Click Here To Register...] sieht recht gut aus.
12/23/2018 14:45 Mad0ck#11
Quote:
Originally Posted by .ƒaℓsє. View Post
Was du mit Id und class meintest war mir klar, das wäre dann halt ein request um das Html zu bekommen und dieses kannst du dann belibieg parsen z.B. mittels Regex z.B :
[Only registered and activated users can see links. Click Here To Register...]

Html kommt aus diesem Thread und es wird folgendes ermittelt:
Username => Mad0ck
Usertitle => WuubWuub
Level => 14
Aktuelle Erfahrung (bis nächstes Level ) in % => 93


Würdest du das ganze in PHP machen könnte ich dir helfen, da ich mit Python noch nie gearbeitet habe dort nicht...
Habe mal schnell gesucht und das [Only registered and activated users can see links. Click Here To Register...] sieht recht gut aus.
Hey,
Habe heute mal etwas bezüglich der http requests gesucht, und bin auch gut fündig geworden.
Habe auch einen User auf github gefunden, der coolerweise sogar nen Tutorial gemacht hat, wie man mittels post requests auf webelemente zugreifen kann.

Wo ich noch nicht ganz durchblicke, warum er einem Projekt Requests benützt.
Jedoch be einem anderen projekt auf git, beatuifulsoup ôo.
Sehe da kein einziges mal, dass er da eine Session aufbaut etc.
Im Video macht er das aber .-.


Habe mir das denk ich generell etwas zu einfach vorgestellt.
Man muss auch Sessions erstellen und tokens whatever absenden .
Komplettes Neuland für mich.

Und mir wurde vor langer Zeit mal gesagt, dass AutoIt bzw Python einfacher sei als wie PHP, um solche webAutomationen zu coden.


Ich werde einfach mal versuchen mich irgendwo einzuloggen mittels einen POST request.
Werde dazu wie @Der-Eddy sagte http live header benützen um die ganzen verlinkungen, tokens etc auszulesen :c
Eventuell wird es ja was.

Im Endefekt, muss man das glaub ich nur 1x selber hinbekommen, da es generell dann immer das gleiche Prinzip sein sollte.
( Hoffe ich zumindest ... Wobei es auch jason requests geben soll... )


Mal schaun. Zur Not melde ich mich :3
12/23/2018 16:37 False#12
Quote:
Originally Posted by Mad0ck View Post
Hey,
Habe heute mal etwas bezüglich der http requests gesucht, und bin auch gut fündig geworden.
Habe auch einen User auf github gefunden, der coolerweise sogar nen Tutorial gemacht hat, wie man mittels post requests auf webelemente zugreifen kann.

Wo ich noch nicht ganz durchblicke, warum er einem Projekt Requests benützt.
Jedoch be einem anderen projekt auf git, beatuifulsoup ôo.
Sehe da kein einziges mal, dass er da eine Session aufbaut etc.
Im Video macht er das aber .-.
[Only registered and activated users can see links. Click Here To Register...]


Habe mir das denk ich generell etwas zu einfach vorgestellt.
Man muss auch Sessions erstellen und tokens whatever absenden .
Komplettes Neuland für mich.

Und mir wurde vor langer Zeit mal gesagt, dass AutoIt bzw Python einfacher sei als wie PHP, um solche webAutomationen zu coden.


Ich werde einfach mal versuchen mich irgendwo einzuloggen mittels einen POST request.
Werde dazu wie @Der-Eddy sagte http live header benützen um die ganzen verlinkungen, tokens etc auszulesen :c
Eventuell wird es ja was.

Im Endefekt, muss man das glaub ich nur 1x selber hinbekommen, da es generell dann immer das gleiche Prinzip sein sollte.
( Hoffe ich zumindest ... Wobei es auch jason requests geben soll... )


Mal schaun. Zur Not melde ich mich :3
Wieso er zwei verschiedene Sachen nutzt kann ich dir nicht sagen, da ich diese nicht kenne und mit Python noch nicht gearbeitet habe.

Wenn du dich jetzt nicht gerade in eine stark geschützt Seite einloggen willst ist das kein großes Problem.
Die meisten Libs haben bereits ein "Cookie-Manager" integriert, somit müsstest du auch nur ein Request machen (Den Login-Request) und den rest (speichern des Cookies und mit schicken bei weiteren Requests) machen die meisten Libs schon von selber.


HTTP Header Live o.ä. Browser Plugins/Programme kann man natürlich nutzen aber in den Entwicklertools(F12) findest du eigentlich alles was du brauchst (Header, Urls, Parameter, Cookies, etc..).
12/28/2018 12:22 kno'#13
[Only registered and activated users can see links. Click Here To Register...] hier ist eine gute Einführung in die Thematik.
01/04/2019 13:33 Mad0ck#14
Quote:
Originally Posted by kno' View Post
[Only registered and activated users can see links. Click Here To Register...] hier ist eine gute Einführung in die Thematik.
HuHu,

Danke fürs Antworten und sorry für die späte Antwort.
Da es ein Problem mit Python gab, beim POST-Request abschicken, hat mir der Liebe false das gleiche in php gemacht x.x

Habs bis dato immernoch net hinbekommen, dass der Post richtig am server ankommt, obwohl alle Parameter eig stimmen müssten xD

Naja manches will wohl nicht :p