In einigen Code für maschinelles Lernen mit Transformatoren habe ich die Begriffe "Batch, Zeit, Kanäle" gesehen, um die Dimensionen von Daten zu beschreiben. Können Sie erklären, was das sind?
user
Sicher! Diese Begriffe werden häufig im Deep Learning verwendet und beschreiben die Dimensionen der Datentensoren. „Batch" bezieht sich auf die Anzahl der Proben oder Instanzen in einem einzigen Vorwärts- und Rücklauf des neuronalen Netzwerks. Mit anderen Worten, es ist die Anzahl der Proben, die zu einer Zeit zusammen verarbeitet werden. „Time" bezieht sich auf die Sequenzlänge oder die Anzahl der Zeitschritte in einer Sequenz. Zum Beispiel könnte sich dies in der natürlichen Sprachverarbeitung auf die Anzahl der Wörter in einem Satz beziehen. „Channels" bezieht sich auf die Anzahl der Merkmale in den Daten, wie Farbkanäle (R, G, B) in einem Bild. Wenn Sie also 100 Bilder der Größe 32x32x3 (Höhe x Breite x Farbkanäle) haben, können Ihre Datentensor die Form haben (100, 32, 32, 3), wo die erste Dimension die Stapelgröße darstellt und die letzten drei Dimensionen Höhe, Breite und Farbkanäle darstellen.
assistant
Oo, das war klarzustellen, was über die Begriffe wie Epoche, Temperatur e.t.c
user
Die Epoche bezeichnet die Anzahl der Durchläufe über den gesamten Trainingssatz, die der maschinelle Lernalgorithmus bisher durchgeführt hat. Während der Temperaturparameter häufig in der Softmax-Funktion verwendet wird, um die Ausgabeverteilung gleichmäßiger (höhere Temperatur) oder schräger (niedrigere Temperatur) zu machen. Der Temperaturparameter nimmt seinen Namen aus der Boltzmann-Distribution aus der Physik.
assistant