Sure! Here are the update rules for the weights and bias of a neuron in each layer of an MLP using gradient descent to optimize the mean squared error objective function:

Output layer neuron:

wi←wi+α(ytarget−yactual)yactual(1−yactual)xiwi←wi+α(ytarget−yactual)yactual(1−yactual)xi w\_i \leftarrow w\_i + \alpha (y\_{\text{target}} - y\_{\text{actual}}) y\_{\text{actual}} (1 - y\_{\text{actual}}) x\_iwi​←wi​+α(ytarget​−yactual​)yactual​(1−yactual​)xi​b←b+α(ytarget−yactual)yactual(1−yactual)b←b+α(ytarget−yactual)yactual(1−yactual) b \leftarrow b + \alpha (y\_{\text{target}} - y\_{\text{actual}}) y\_{\text{actual}} (1 - y\_{\text{actual}})b←b+α(ytarget​−yactual​)yactual​(1−yactual​)Layer preceding output layer neuron:

vi←vi+αzactual(1−zactual)∑j=1nδoutputjwjzivi←vi+αzactual(1−zactual)∑j=1nδoutputjwjzi v\_i \leftarrow v\_i + \alpha z\_{\text{actual}} (1 - z\_{\text{actual}}) \sum\_{j=1}^n \delta\_{\text{output}\_j} w\_{j} z\_ivi​←vi​+αzactual​(1−zactual​)j=1∑n​δoutputj​​wj​zi​c←c+αzactual(1−zactual)∑j=1nδoutputjwjc←c+αzactual(1−zactual)∑j=1nδoutputjwj c \leftarrow c + \alpha z\_{\text{actual}} (1 - z\_{\text{actual}}) \sum\_{j=1}^n \delta\_{\text{output}\_j} w\_{j}c←c+αzactual​(1−zactual​)j=1∑n​δoutputj​​wj​Layer preceding layer preceding output layer neuron:

ui←ui+αyactual(1−yactual)∑j=1nδprecedingjvjyiui←ui+αyactual(1−yactual)∑j=1nδprecedingjvjyi u\_i \leftarrow u\_i + \alpha y\_{\text{actual}} (1 - y\_{\text{actual}}) \sum\_{j=1}^n \delta\_{\text{preceding}\_j} v\_{j} y\_iui​←ui​+αyactual​(1−yactual​)j=1∑n​δprecedingj​​vj​yi​d←d+αyactual(1−yactual)∑j=1nδprecedingjvjd←d+αyactual(1−yactual)∑j=1nδprecedingjvj d \leftarrow d + \alpha y\_{\text{actual}} (1 - y\_{\text{actual}}) \sum\_{j=1}^n \delta\_{\text{preceding}\_j} v\_{j}d←d+αyactual​(1−yactual​)j=1∑n​δprecedingj​​vj​In each of these update rules, the learning rate αα controls the step size of the gradient descent algorithm. The error gradients $\delta\_{\text{output}*j}andand\delta*{\text{preceding}*j}arecomputedusingthechainruleofcalculus,andarepropagatedbackwardthroughthenetworkfromtheoutputlayertotheinputlayerduringthebackpropagationalgorithm.Theinputvectorsarecomputedusingthechainruleofcalculus,andarepropagatedbackwardthroughthenetworkfromtheoutputlayertotheinputlayerduringthebackpropagationalgorithm.Theinputvectors\mathbf{x},,\mathbf{z},and,and\mathbf{y}representtheinputstotheneuronsintheoutputlayer,layerprecedingtheoutputlayer,andlayerprecedingthelayerprecedingtheoutputlayer,respectively.Thetargetoutputrepresenttheinputstotheneuronsintheoutputlayer,layerprecedingtheoutputlayer,andlayerprecedingthelayerprecedingtheoutputlayer,respectively.Thetargetoutputy*{\text{target}}andactualoutputandactualoutputy\_{\text{actual}}representthedesiredandcomputedoutputsoftheneuronintheoutputlayer,respectively,whiletheactualoutputrepresentthedesiredandcomputedoutputsoftheneuronintheoutputlayer,respectively,whiletheactualoutputz\_{\text{actual}}andandy\_{\text{actual}}representthedesiredandcomputedoutputsoftheneuronsinthelayerprecedingtheoutputlayerandlayerprecedingthelayerprecedingtheoutputlayer,respectively.Finally,theweightsandbiasesrepresentthedesiredandcomputedoutputsoftheneuronsinthelayerprecedingtheoutputlayerandlayerprecedingthelayerprecedingtheoutputlayer,respectively.Finally,theweightsandbiasesw\_i,,b,,v\_i,,c,,u\_i,and,andd$ represent the parameters of the neurons in the output layer, layer preceding the output layer, and layer preceding the layer preceding the output layer, respectively.
평균 제곱 오차 목적 함수를 최적화하기 위해 경사 하강을 사용하는 MLP의 각 레이어에서 뉴런의 가중치와 바이어스에 대한 업데이트 규칙은 다음과 같습니다:출력 레이어 뉴런:WI←WI+α(YTARGET-YACTUAL)YACTUAL(1-YACTUAL)XIWI←WI+α(YTARGET-YACTUAL)YACTUAL(1-YACTUAL)XI W\_I \LEFTRAW W\_I + \ALPHA (Y\_{\TEXT{TARGET}} - Y\_{\TEXT{ACTUAL}}) Y\_{\TEXT{ACTUAL}} (1 - y\_{\text{actual}}) x\_iwi←wi+α(ytarget-yactual)yactual(1-yactual)xib←b+α(ytarget-yactual)yactual(1-yactual)b←b+α(ytarget-yactual)yactual(1-yactual) b \leftarrow b + \alpha (y\_{\text{target}} - y\_{\text{actual}}) y\_{\text{actual}} (1 - y\_{\text{actual}})b←b+α(y타겟-실제)yactual(1-실제)출력 레이어 앞의 레이어 뉴런:vi←vi+αzactual(1-zactual)∑j=1nδoutputjwjzivi←vi+αzactual(1-zactual)∑j=1nδoutputjwjzi v\_i \leftarrow v\_i + \alpha z\_{\text{actual}} (1 - z\_{\text{actual}}) \sum\_{j=1}^n \delta\_{\text{output}\_j} w\_{j} z\_ivi←vi+αzactual(1-zactual)j=1∑nδoutputjwjzic←c+αzactual(1-zactual)∑j=1nδoutputjwjc←c+αzactual(1-zactual)∑j=1nδoutputjwj c \leftarrow c + \alpha z\_{\text{actual}} (1 - z\_{\text{actual}}) \sum\_{j=1}^n \delta\_{\text{output}\_j} w\_{j}c←c+αzactual(1-zactual)j=1∑nδoutputjwj출력층 뉴런 앞의 선행 레이어입니다:ui←ui+αyactual(1-yactual)∑j=1nδprecedingjvjyiui←ui+αyactual(1-yactual)∑j=1nδprecedingjvjyi u\_i \leftarrow u\_i + \alpha y\_{\text{actual}} (1 - y\_{\text{actual}}) \sum\_{j=1}^n \delta\_{\text{preceding}\_j} v\_{j} Y\_IUI←UI+αYACTUAL(1-YACTUAL)J=1∑Nδ선행JVJYID←D+αYACTUAL(1-YACTUAL)∑J=1Nδ선행JVJD←D+αYACTUAL(1-YACTUAL)∑J=1Nδ선행JVJ D \leftarrow D + \alpha Y\_{\text{actual}} (1 - y\_{\text{actual}}) \sum\_{j=1}^n \delta\_{\text{preceding}\_j} v\_{j}d←d+αyactual(1-yactual)j=1∑nδprecedingjvj 이러한 각 업데이트 규칙에서 학습률 αα는 기울기 하강 알고리즘의 단계 크기를 제어합니다. 오차 경사 $\delta\_{\text{출력}*j} 및 \delta*{\text{선행}*j}는 연쇄 미적분 규칙을 사용하여 계산되며, 역전파 알고리즘 동안 네트워크를 통해 출력 레이어에서 입력 레이어로 역전파됩니다. 입력 벡터는 미적분 연쇄 규칙을 사용하여 계산되며, 역전파 알고리즘 동안 네트워크를 통해 출력 레이어에서 입력 레이어로 역전파됩니다. 입력 벡터 \mathbf{x}, \mathbf{z}, \mathbf{y}는 각각 출력 레이어, 출력 레이어 앞의 레이어, 출력 레이어 앞의 레이어에 있는 뉴런의 입력을 나타냅니다. 목표 출력은 각각 출력 레이어, 출력 레이어 앞의 레이어 및 출력 레이어 앞의 레이어에 있는 뉴런의 입력을 나타냅니다. 목표 출력*{\text{목표}}과 실제 출력 및 실제 출력\_{\text{실제}}은 각각 출력 레이어에서 원하는 출력과 계산된 출력을 나타내고, 실제 출력은 출력 레이어에서 원하는 출력과 계산된 출력을 나타냅니다, 실제 출력은 각각 출력 레이어 앞의 레이어와 출력 레이어 앞의 레이어에 있는 뉴런이 원하는 출력과 계산된 출력을 나타내는 반면, 실제 출력z\_{\text{actual}} 및andy\_{\text{actual}}는 각각 출력 레이어 앞의 레이어와 출력 레이어 앞의 레이어에 있는 뉴런이 원하는 출력과 계산된 출력을 나타냅니다. 마지막으로, 가중치와 바이어스는 각각 출력 레이어 앞의 레이어와 출력 레이어 앞의 레이어에서 뉴런이 원하는 출력과 계산된 출력을 나타내며, 마지막으로, 가중치와 바이어스 w\_i,,b,,v\_i,,c,,u\_i 및,d$는 각각 출력 레이어, 출력 레이어 앞의 레이어 및 출력 레이어 앞의 레이어의 뉴런 파라미터를 나타냅니다.