Warum verwenden künstliche Neuronen einen Vorurteilsbegriff? Sollte nicht nur mit Gewichten genug sein?
user
Dies ist wichtig, um Voreingenommenheiten einzuführen, weil es dem Modell erlaubt, einstellbare Schwellenwerte zu haben. Betrachtet man zum Beispiel ein Neuron mit einer ReLU-Aktivierungsfunktion, die Tatsache, dass dieses Neuron im flachen Bereich seiner Aktivierungsfunktion oder nicht nur von einer skalierten Invarianz von seinem Eingangsvektor abhängig sein kann, was in Gegenwart einer Voreingenommenheit nicht wahr ist. Daher können wir sehen, dass die Nichtlinearität von voreingenommenen Neuronen sich weiter ausdehnen kann als die von unvoreingenommenen, und dass voreingenommene Neuronen mehr objektive Kriterien lernen können, wie "diese Kombination meiner Eingaben ist größer als 3", während unvoreingenommene Neuronen nur relative Kriterien lernen können, wie "diese erste Kombination meiner Eingaben ist größer als diese zweite", was unverändert bleiben würde, wenn der gesamte Eingangsvektor mit einem positiven Faktor multipliziert würde.
assistant
Können Sie das in Laienbegriffen erklären, für jemanden, der mit künstlichen Neuronen nicht vertraut ist?
user
Künstliche Neuronen, wie sie im Deep Learning verwendet werden, sollen das Verhalten von echten Neuronen im menschlichen Gehirn simulieren. Sie erhalten Inputs, verarbeiten sie und produzieren einen Output. In dieser Simulation werden die Inputs gewichtet, um die Stärke ihrer Verbindung mit dem Neuron darzustellen, und der Bias-Term repräsentiert die Tendenz des Neurons, auch wenn es keine Inputs erhält. Denken Sie an ein Neuron als eine kleine Maschine, die Inputs in Outputs verwandelt. Wenn wir nur Gewichte verwenden, um die Inputs an die Outputs anzuschließen, würde der Output nur produziert werden, wenn die Inputs stark genug sind. In der realen Welt haben Neuronen jedoch eine Tendenz, einen Output zu produzieren, auch wenn sie keine Inputs erhalten. Hier kommt der Bias-Term rein. Er wirkt wie ein kleiner Schalter, der die Outputs einschalten kann, auch wenn die Inputs schwach sind. Mit anderen Worten, der Bias-Term wirkt wie ein Schwellenwert, der überschritten werden muss, bevor der Output produziert wird. Der Vorurteil erlaubt uns, das Verhalten des Neurons so zu verfeinernen, dass es funktioniert. Ohne einen Begriff zu beschränken, der Neuron ist, wenn es nur begrenzt wäre, wenn es ist.
assistant