Welche Rolle spielt die Verzerrung in neuronalen Netzen?

Question

Ich kenne den Gradientenabstieg und den Back-Propagation-Algorithmus. Was ich nicht verstehe, ist: Wann ist die Verwendung einer Vorspannung wichtig und wie verwendet man sie?

Zum Beispiel, wenn die Abbildung der AND Funktion, wenn ich zwei Eingänge und einen Ausgang verwende, gibt sie nicht die richtigen Gewichte an. Wenn ich jedoch drei Eingaben verwende (von denen eine eine Vorspannung ist), gibt sie die richtigen Gewichte an.

Answer 1

Für alle ML In den Büchern, die ich studiert habe, wird das W immer als der Konnektivitätsindex zwischen zwei Neuronen definiert, was bedeutet, dass die Konnektivität zwischen zwei Neuronen höher ist.

Je stärker die Signale vom feuernden Neuron an das Zielneuron übertragen werden oder Y = w * X, um den biologischen Charakter der Neuronen zu erhalten, müssen wir die 1 >=W >= -1 beibehalten, aber in der realen Regression wird W mit |W| >=1 enden, was der Funktionsweise der Neuronen widerspricht.

Als Ergebnis schlage ich W = cos(theta) vor, während 1 >= |cos(theta)|, und Y= a * X = W * X + b, während a = b + W = b + cos(theta), b ist eine ganze Zahl.

Answer 2

Voreingenommenheit fungiert als unser Anker. Es ist eine Möglichkeit für uns, eine Art Grundlinie zu haben, die wir nicht unterschreiten. In Bezug auf ein Diagramm kann man sich y=mx+b als y-Achsenabschnitt dieser Funktion vorstellen.

Ausgabe = Eingabe mal Gewichtungswert und Hinzufügen eines Verzerrungswert und dann eine Aktivierungsfunktion anwenden.

Answer 3

Der Begriff Verzerrung wird verwendet, um die endgültige Ausgabematrix so anzupassen, wie es der y-Abschnitt tut. Wenn zum Beispiel bei der klassischen Gleichung y = mx + c c = 0 ist, geht die Linie immer durch 0. Die Hinzufügung des Bias-Terms verleiht unserem neuronalen Netzmodell mehr Flexibilität und eine bessere Generalisierung.

Answer 4

Die Verzerrung hilft, eine bessere Gleichung zu erhalten.

Stellen Sie sich die Eingabe und Ausgabe wie eine Funktion vor y = ax + b und man muss die richtige Linie zwischen Input(x) und Output(y) setzen, um den globalen Fehler zwischen jedem Punkt und der Linie zu minimieren, wenn man die Gleichung wie folgt beibehält y = ax haben Sie nur einen Parameter für die Anpassung, auch wenn Sie den besten finden. a Bei der Minimierung des Gesamtfehlers wird er ziemlich weit vom gewünschten Wert entfernt sein.

Man kann sagen, dass die Verzerrung die Gleichung flexibler macht, um sich an die besten Werte anzupassen