Nenne mir anhand des folgenden Textes die heute gängigste Methode für das Training von mehrschichtigen Perceptrons und erkläre, wie sie funktioniert
given the following text, tell me the most popular method for training multi-layer perceptrons today and explain how it works
Today, the most popular method for training multi-layer perceptrons (MLPs) is back-propagation. During backpropagation, the output values are compared with the correct answer to compute the value of some predefined error-function. The error is then fed back through the network. Using this information, the algorithm adjusts the weights of each connection in order to reduce the value of the error function by a small amount. After repeating this process for a sufficiently large number of training cycles, the network will usually converge to a state where the error of the calculations is small. In this case, one would say that the network has learned a certain target function
Die beliebteste Methode für das Training von mehrschichtigen Perzeptronen (MLPs) ist die Backpropagation. Bei der Backpropagation werden die Ausgangswerte mit der richtigen Antwort verglichen, um den Wert einer vordefinierten Fehlerfunktion zu berechnen. Der Fehler wird dann durch das Netzwerk zurückgeführt. Anhand dieser Informationen passt der Algorithmus die Gewichte der einzelnen Verbindungen an, um den Wert der Fehlerfunktion um einen kleinen Betrag zu verringern. Nachdem dieser Prozess für eine ausreichend große Anzahl von Trainingszyklen wiederholt wurde, konvergiert das Netzwerk normalerweise zu einem Zustand, in dem der Fehler der Berechnungen klein ist. In diesem Fall würde man sagen, dass das Netz eine bestimmte Zielfunktion gelernt hat
closed_qa
Heute ist die beliebteste Methode für das Training von mehrschichtigen Perzeptronen (MLPs) die Backpropagation. Der Begriff "back-propagating errors" wurde 1962 von Frank Rosenblatt eingeführt, aber er wusste nicht, wie man das implementiert, obwohl Henry J. Kelley bereits 1960 im Rahmen der Kontrolltheorie einen kontinuierlichen Vorläufer der Backpropagation hatte. Die moderne Backpropagation ist eigentlich Seppo Linnainmaas allgemeiner umgekehrter Modus der automatischen Differenzierung (1970) für diskrete zusammenhängende Netze von verschachtelten differenzierbaren Funktionen. Sie ist eine effiziente Anwendung der Kettenregel (von Gottfried Wilhelm Leibniz 1673 abgeleitet) auf Netzwerke mit differenzierbaren Knoten. 1982 wandte Paul Werbos die Backpropagation auf MLPs in der Weise an, die zum Standard geworden ist. 1985 veröffentlichten David E. Rumelhart et al. eine experimentelle Analyse der Technik. In den folgenden Jahrzehnten wurden viele Verbesserungen umgesetzt.

Bei der Backpropagation werden die Ausgangswerte mit der richtigen Antwort verglichen, um den Wert einer vordefinierten Fehlerfunktion zu berechnen. Der Fehler wird dann durch das Netzwerk zurückgesendet. Anhand dieser Informationen passt der Algorithmus die Gewichte der einzelnen Verbindungen an, um den Wert der Fehlerfunktion um einen kleinen Betrag zu verringern. Nachdem dieser Prozess für eine ausreichend große Anzahl von Trainingszyklen wiederholt wurde, konvergiert das Netzwerk in der Regel zu einem Zustand, in dem der Fehler in den Berechnungen klein ist. In diesem Fall würde man sagen, dass das Netz eine bestimmte Zielfunktion gelernt hat. Um die Gewichte richtig anzupassen, wendet man eine allgemeine Methode zur nichtlinearen Optimierung an, die als Gradientenabstieg bezeichnet wird und auf Augustin-Louis Cauchy zurückgeht, der sie 1847 erstmals vorschlug. Dazu berechnet das Netz die Ableitung der Fehlerfunktion nach den Netzgewichten und ändert die Gewichte so, dass der Fehler abnimmt (es geht also auf der Oberfläche der Fehlerfunktion bergab). Aus diesem Grund kann die Backpropagation nur auf Netze mit differenzierbaren Aktivierungsfunktionen angewendet werden.
de