The logical process of an AutoEncoder is that the original input (set to x) is weighted and mapped to y, which is then inversely weighted and mapped back to z. If through iterative training the loss function L(H) is minimised, i.e. z is as close to x as possible, i.e. x is perfectly reconstructed, then it can be said that forward weighting is a successful way of learning the key features of the input. AutoEncoder language models take their name from the Denoising AutoEncoder (DAE) (Vincent et al., 2008), which is used to predict tokens that are [masked] by contextual words (these [masked] words are actually noise added at the input, typical of thinking). DAE is a technique that involves adding random noise to the input layer of data. This helps to learn more robust features when using an unsupervised approach to pre-train the weights of a deep network in a hierarchical manner.
자동 인코더의 논리적 프로세스는 원래 입력(x로 설정)에 가중치를 부여하여 y에 매핑한 다음 역가중치를 부여하여 다시 z에 매핑하는 것입니다. 반복적인 훈련을 통해 Loss 함수 L(H)이 최소화되고, 즉 z가 x에 최대한 가깝게, 즉 x가 완벽하게 재구성된다면, 순방향 가중치가 입력의 주요 특징을 학습하는 데 성공적인 방법이라고 할 수 있습니다. AutoEncoder 언어 모델은 문맥 단어에 의해 [마스킹]된 토큰을 예측하는 데 사용되는 Denoising AutoEncoder (DAE)(Vincent et al., 2008)에서 그 이름을 따왔습니다(이 [마스킹]된 단어는 사실 입력에 추가된 노이즈이며, 일반적으로 사고의 특징입니다). DAE는 데이터의 입력 레이어에 무작위 노이즈를 추가하는 기법입니다. 이는 비지도 방식으로 심층 네트워크의 가중치를 계층적으로 사전 학습할 때 더 Robust한 특징을 학습하는 데 도움이 됩니다.
자동 인코더의 논리적 프로세스는 원래 입력(x로 설정)에 가중치를 부여하여 y에 매핑한 다음 역가중치를 부여하여 다시 z에 매핑하는 것입니다. 반복적인 훈련을 통해 손실 함수 L(H)이 최소화되고, 즉 z가 x에 최대한 가깝게, 즉 x가 완벽하게 재구성된다면, 순방향 가중치가 입력의 주요 특징을 학습하는 데 성공적인 방법이라고 할 수 있습니다. 자동 인코더 언어 모델은 문맥 단어에 의해 [마스킹]된 토큰을 예측하는 데 사용되는 노이즈 제거 자동 인코더(DAE)(Vincent et al., 2008)에서 그 이름을 따왔습니다(이 [마스킹]된 단어는 사실 입력에 추가된 노이즈이며, 일반적으로 사고의 특징입니다). DAE는 데이터의 입력 레이어에 무작위 노이즈를 추가하는 기법입니다. 이는 비지도 방식으로 심층 네트워크의 가중치를 계층적으로 사전 학습할 때 더 강력한 특징을 학습하는 데 도움이 됩니다.