[Opensource]Artificial Neural Network

[CranK™]

Hey Leute,

wie der Name schon sagt, release ich heute mein "Framework" zum Verwalten und zum Trainieren von künstlichen neuronalen Netzwerken.

Das "Framework" kann bis jetzt lediglich sogenannte feed-forward-Netze verwalten. Außerdem werden diese Netze anhand des sogenannten "Überwachten Lernens" trainiert.

Das bedeutet so viel wie, dass alle künstlichen Neuronen nur nach vorne verbunden werden (in einem zweidimensionalem Raum sozusagen immer nach rechts). Überwachtes Lernen meint, dass das künstliche neuronale Netzwerk anhand von Eingabedaten und deren zugeordneten Ausgabe-Daten angepasst wird, um so die Fehlerquote zu minimieren.
So ist es beispielsweise ganz einfach möglich, einem künstlichen neuronalen Netzwerk die logischen Grund-Funktionen wie UND, ODER, etc. anzulernen.

Bei Interesse werde ich das ganze auch nochmal etwas genauer und simpel erklären.
Ansonsten könnt ihr all das auch auf Wikipedia usw. nachlesen.

Zum Trainieren der künstlichen neuronalen Netzwerke wird übrigens die sogenannte Backpropagation verwendet.

Nun stellt sich euch sicher die Frage, was kann man mit so einem Mist anfangen?

Für mich dient es einerseits für "Forschungszwecke".
Andererseits stellen künstliche neuronale Netzwerke eine signifikante Rolle im Bereich der Bildverarbeitung, Spracherkennung usw. dar, was für mich ein weiterer Anreiz dafür war, mich mit ihnen auseinander zu setzen.
Es sind euch keine Grenzen gesetzt, lasst eurer Kreativität freien Lauf.

Bei Gelegenheit werde ich das "Framework" weiter verbessern und eventuell sogar eine Visualisierungs-Anwendung schreiben.

Der Hauptgrund warum ich meine Arbeit veröffentliche ist, dass einer von euch sich eventuell mal die Zeit nehmen könnte, um einen Blick auf meinen Quellcode zu werfen und mir zu sagen, was ich hätte besser machen können oder was ich gänzlich falsch gemacht habe. Ich persönlich würde mich riesig über Kritik eurerseits freuen.

Nun gut...
Ich denke, ich hab euch inzwischen genug vollgelabert...
Hier nun der Link zum Git-Repository (ich weiß nicht.. ist das erlaubt?):



MfG Oliver

P.S. Als IDE habe ich Qt Creator verwendet - .pro-Datei befindet sich ebenfalls im Repository
P.P.S. Es sollte zwar alles einwandfrei funktionieren, ist dennoch aber nur eine Pre-Alpha-Version..

[Shadow992]

Warum lässt du die Neuronen nicht in einer Adjazenzliste bzw. Adjazenzmatrix speichern? Das ist viel effektiver in der Verarbeitung und vorallem Speicherplatz sparender als für alles eine extra Klasse zu machen. Hinzu kommt, dass es wohl auch Codetechnisch um einiges kürzer wäre.

Ansonsten sieht das ansich vom Ablauf her gut aus.

Wäre bestimmt praktisch, wenn du noch nen Momentumterm hinzufügst und du die Lernrate mit der Zeit anpassen lässt. Das erhöht die Effektivität von Neuronalen Netzen ungemein.

[CranK™]

Originally Posted by Shadow992

Warum lässt du die Neuronen nicht in einer Adjazenzliste bzw. Adjazenzmatrix speichern? Das ist viel effektiver in der Verarbeitung und vorallem Speicherplatz sparender als für alles eine extra Klasse zu machen. Hinzu kommt, dass es wohl auch Codetechnisch um einiges kürzer wäre.

Ansonsten sieht das ansich vom Ablauf her gut aus.

Wäre bestimmt praktisch, wenn du noch nen Momentumterm hinzufügst und du die Lernrate mit der Zeit anpassen lässt. Das erhöht die Effektivität von Neuronalen Netzen ungemein.

Adjazenzmatrix war anfangs geplant, da mich aber interessierte, wie das wohl mit den Vektoren etc. aussehen wird, habe ich schlichtweg diesen Weg eingeschlagen. Des Weiteren sollte es so leichter möglich sein, weitere Netzwerktypen zu implementieren...
Kann mich dabei aber auch irren.

#Neues Update#
-Momentumterm hinzugefügt
-Variable Lernrate hinzugefügt

[_Roman_]

So ist es beispielsweise ganz einfach möglich, einem künstlichen neuronalen Netzwerk die logischen Grund-Funktionen wie UND, ODER, etc. anzulernen.

Wie würde sowas funktionieren? Hab mich jetzt noch nicht wirklich eingelesen in das Thema, aber ANN klingen ziemlich interessant

[Shadow992]

Originally Posted by _Roman_

Wie würde sowas funktionieren? Hab mich jetzt noch nicht wirklich eingelesen in das Thema, aber ANN klingen ziemlich interessant

Wenn du eine exakte Antwort willst, kannst du einen Blick in mein E-Book werfen:

Wenn es dich nicht so genau interessiert:
Du speist in das Netz ein paar Werte ein und sagst welcher Wert eigentlich hätte rauskommen sollen. Das Netz passt sich dann so an, dass es dem eigentlich richtigem Ergebnis nahe kommt.

Alles in allem ist es aber ungewöhnlich KNN für rein logische Verknüpfungen zu benutzen, weil sich KNNs eben dadurch auszeichnen, dass sie sehr gut im "schätzen" sind und weniger gut im exakten berechnen.
Aber möglich ist es natürlich dennoch.

[_Roman_]

Originally Posted by Shadow992

Wenn du eine exakte Antwort willst, kannst du einen Blick in mein E-Book werfen:

Wenn es dich nicht so genau interessiert:
Du speist in das Netz ein paar Werte ein und sagst welcher Wert eigentlich hätte rauskommen sollen. Das Netz passt sich dann so an, dass es dem eigentlich richtigem Ergebnis nahe kommt.

Alles in allem ist es aber ungewöhnlich KNN für rein logische Verknüpfungen zu benutzen, weil sich KNNs eben dadurch auszeichnen, dass sie sehr gut im "schätzen" sind und weniger gut im exakten berechnen.
Aber möglich ist es natürlich dennoch.

Danke für die Antwort. Ich bin mir bereits über dein Ebook bewusst, wobei ich mir nicht sicher bin, ob mein Maß an Interesse so hoch ist. Es gibt ziemlich viele Sachen für die ich mich interessiere, aber ich finde einfach nicht die Zeit dafür. Reverse Engineering oder Spieleentwicklung würden dazu zählen.

BTT: Inwiefern passt sich das Netz an? Könnte man mit einem KNN folgendes bewerkstelligen?: Ein Spiel wo ein Gegner sich dem Spieler anpasst, was verschiedenste Kriterien voraussetzen würde wie Leben, Schaden etc. des Spielers. Dadurch würde der Spieler immer gegen Gegner kämpfen, die stark genug sind. Aber würde das dann unter den Lernprozess eines KNN fallen oder verstehe ich KNN's falsch?

[Shadow992]

Originally Posted by _Roman_

Danke für die Antwort. Ich bin mir bereits über dein Ebook bewusst, wobei ich mir nicht sicher bin, ob mein Maß an Interesse so hoch ist. Es gibt ziemlich viele Sachen für die ich mich interessiere, aber ich finde einfach nicht die Zeit dafür. Reverse Engineering oder Spieleentwicklung würden dazu zählen.

BTT: Inwiefern passt sich das Netz an? Könnte man mit einem KNN folgendes bewerkstelligen?: Ein Spiel wo ein Gegner sich dem Spieler anpasst, was verschiedenste Kriterien voraussetzen würde wie Leben, Schaden etc. des Spielers. Dadurch würde der Spieler immer gegen Gegner kämpfen, die stark genug sind. Aber würde das dann unter den Lernprozess eines KNN fallen oder verstehe ich KNN's falsch?

Nein das ist eines der Gebiete wofür KNNs bestens geeignet sind. Du musst jedoch bedenken, dass die Lernzeiten bei einem derartigem netz extrem groß werden, da wirst mehrere 1000 Kämpfe machen bis das Netz genug gelernt hat um ungefähr auf dem Niveau des Gegners zu sein. Auch die Idee, dass man dadurch Gegner generieren kann, die mit der Spieler mitwachsen muss ich dir leider etwas weniger schmackhaft machen. KNNs sind zwar ziemlich gut im Lernen, aber das menschliche Gehirn ist immer noch um einiges besser als ein KNN. Vondaher kannst du dein KNN zwar trainieren, du brauchst jedoch
1. Viele Spiele bis der Gegner wirklich gut wird
2. Wird er wohl nicht so schnell und gut wie du besser werden

Daher werden KNNs meist im vorraus an einem Algorithmus trainiert, der Gegner simuliert und je nach Schwierigkeit hört man dann bereits nach ein paar Gegnern mit dem Trainieren auf oder eben erst nach ein paar Tausend oder sogar Hunderttausend Spielen.