Überwachtes Lernen
Das überwachte Lernen basiert auf dem Training einer Datenprobe aus einer Datenquelle, der bereits eine korrekte Klassifizierung zugewiesen wurde. Solche Techniken werden in Feedforward- oder MultiLayer Perceptron (MLP) Modellen verwendet. Diese MLP haben drei charakteristische Eigenschaften:
- Eine oder mehrere Schichten von versteckten Neuronen, die nicht Teil der Eingabe sind oder Ausgabeschichten des Netzes gehören, die es dem Netz ermöglichen, zu lernen und komplexe Probleme zu lösen
- Die Nichtlinearität, die sich in der neuronalen Aktivität widerspiegelt, ist differenzierbar und,
- Das Zusammenschaltungsmodell des Netzes weist einen hohen Grad an Konnektivität auf.
Diese Eigenschaften und das Lernen durch Ausbildung schwierige und vielfältige Probleme zu lösen. Lernen durch Training in einem überwachten ANN-Modell wird auch als Error-Backpropagation-Algorithmus bezeichnet. Der Fehlerkorrektur-Lernalgorithmus Der Fehlerkorrektur-Lernalgorithmus trainiert das Netz auf der Grundlage der Eingabe-Ausgabe und findet das Fehlersignal, d.h. die Differenz zwischen der der berechneten Ausgabe und der gewünschten Ausgabe ist, und passt die die synaptischen Gewichte der Neuronen an, die proportional zum Produkt aus dem Fehlersignal und der Eingangsinstanz des synaptischen Gewichtes. Auf der Grundlage dieses Prinzips erfolgt das Fehler Ausbreitungslernen in zwei Durchgängen:
Vorwärtspass:
Hier wird dem Netz ein Eingangsvektor präsentiert. Dieses Eingangssignal pflanzt sich Neuron für Neuron durch das Netz fort und erscheint am Ausgang des Netzes als des Netzwerks als Ausgangssignal: y(n) = (v(n))
wobei v(n)
ist das induzierte lokale Feld eines Neurons, definiert durch v(n) = w(n)y(n).
Die in der Ausgabeschicht o(n) berechnete Ausgabe wird mit der gewünschten Antwort verglichen d(n)
und findet den Fehler e(n)
für dieses Neuron. Die synaptischen Gewichte des Netzes bleiben während dieses Durchgangs gleich.
Rückwärtspass:
Das Fehlersignal, das am Ausgangsneuron dieser Schicht entsteht, wird rückwärts durch das Netz propagiert. Auf diese Weise wird der lokale Gradient für jedes Neuron in jeder Schicht berechnet, und die synaptischen Gewichte des Netzes können gemäß der Delta-Regel wie folgt geändert werden:
w(n) = * (n) * y(n).
Diese rekursive Berechnung wird fortgesetzt, mit einem Vorwärtsdurchlauf, gefolgt von einem Rückwärtsdurchlauf für jedes Eingabemuster, bis das Netz konvergiert.
Das überwachte Lernparadigma eines ANN ist effizient und findet Lösungen für verschiedene lineare und nichtlineare Probleme wie Klassifizierung, Anlagensteuerung, Prognosen, Vorhersagen, Robotik usw.
Unüberwachtes Lernen
Selbstorganisierende neuronale Netze lernen mit einem unüberwachten Lernalgorithmus, um verborgene Muster in unmarkierten Eingabedaten zu erkennen. Diese Unüberwachtheit bezieht sich auf die Fähigkeit, Informationen zu lernen und zu organisieren, ohne ein Fehlersignal zur Bewertung der potenziellen Lösung zu liefern. Das Fehlen von Vorgaben für den Lernalgorithmus beim unüberwachten Lernen kann in manchen Fällen von Vorteil sein, da der Algorithmus so nach Mustern suchen kann, die zuvor nicht berücksichtigt wurden. Die wichtigsten Merkmale von Self-Organizing Maps (SOM) sind:
- Es wandelt ein eingehendes Signalmuster beliebiger Dimension in ein- oder 2-dimensionale Karte und führt diese Transformation adaptiv durch
- Das Netz stellt eine Feedforward-Struktur mit einer einzigen Rechenschicht, die aus in Zeilen und Spalten angeordneten Neuronen Spalten. In jeder Phase der Darstellung wird jedes Eingangssignal in seinem richtigen Kontext gehalten und,
- Neuronen, die sich mit eng verwandten Informationen befassen, sind eng zusammen und kommunizieren über synaptische Verbindungen.
Die Berechnungsschicht wird auch als Wettbewerbsschicht bezeichnet, da die Neuronen in der Schicht miteinander konkurrieren, um aktiv zu werden. Daher wird dieser Lernalgorithmus auch als kompetitiver Algorithmus bezeichnet. Unüberwachter Algorithmus in SOM arbeitet in drei Phasen:
Wettbewerbsphase:
für jedes Eingabemuster x
die dem Netz präsentiert werden, das innere Produkt mit dem synaptischen Gewicht w
berechnet, und die Neuronen in der Wettbewerbsschicht finden eine Diskriminanzfunktion, die einen Wettbewerb zwischen den Neuronen auslöst, und der synaptische Gewichtsvektor, der dem Eingangsvektor im euklidischen Abstand am nächsten kommt, wird als Gewinner des Wettbewerbs bekannt gegeben. Dieses Neuron wird als bestes passendes Neuron bezeichnet,
i.e. x = arg min x - w.
Kooperative Phase:
das gewinnende Neuron bestimmt das Zentrum einer topologischen Nachbarschaft h
von kooperierenden Neuronen. Dies geschieht durch die laterale Interaktion d
unter den kooperativen Neuronen. Diese topologische Nachbarschaft verkleinert sich über einen bestimmten Zeitraum.
Anpassungsphase:
ermöglicht es dem Gewinnerneuron und seinen Nachbarneuronen, ihre individuellen Werte der Unterscheidungsfunktion in Bezug auf das Eingabemuster zu erhöhen durch geeignete synaptische Gewichtsanpassungen zu erhöhen,
w = h(x)(x –w).
Bei wiederholter Präsentation der Trainingsmuster neigen die synaptischen Gewichtsvektoren dazu, der Verteilung der Eingabemuster aufgrund der Aktualisierung der Nachbarschaft zu folgen, so dass das ANN ohne Supervisor lernt.
Das selbstorganisierende Modell stellt auf natürliche Weise das neurobiologische Verhalten dar und wird daher in vielen realen Anwendungen wie Clustering, Spracherkennung, Textursegmentierung, Vektorkodierung usw. eingesetzt.
Referenz.
0 Stimmen
github.com/niektuytel/Machine_Learning/tree/main