Pre-trained transformer blocks are akin to neural network components one can choose to mix and match using an evolutionary architecture search algorithm. However, unlike NAS, we do not need to train the model, and can evaluate the candidates right away. In a sense, our work resonates with the goals of earlier works of morphology search such as NEAT [45] and more recent work such as Weight Agnostic Neural Networks [12] which evolved neural network structures with certain task-specific inductive biases, without the need to train the weight parameters using gradient descent. Similarly, this was how NAS methods such as SMASH [45] avoided costly inner-loop training through the application of a Hypernetwork [16] to estimate the weights of architectural candidates.
사전 학습된 Transformer 블록은 진화형 아키텍처 검색 알고리즘을 사용하여 선택적으로 믹스 앤 매치할 수 있는 신경망 구성 요소와 유사합니다. 하지만 NAS와 달리 모델을 훈련할 필요가 없으며 후보를 즉시 평가할 수 있습니다. 어떤 의미에서, 우리의 작업은 경사 하강을 사용하여 가중치 매개변수를 훈련할 필요 없이 특정 작업별 귀납적 편향성을 가진 신경망 구조를 진화시킨 NEAT [45]와 같은 형태학 검색의 초기 작업 및 Weight Agnostic Neural Networks [12]와 같은 최근 작업의 목표와 일치합니다. 마찬가지로, SMASH [45]와 같은 NAS 방법은 아키텍처 후보의 가중치를 추정하기 위해 Hypernetwork [16]를 적용하여 비용이 많이 드는 내부 루프 훈련을 피했습니다.
사전 학습된 트랜스포머 블록은 진화형 아키텍처 검색 알고리즘을 사용하여 선택적으로 믹스 앤 매치할 수 있는 신경망 구성 요소와 유사합니다. 하지만 NAS와 달리 모델을 훈련할 필요가 없으며 후보를 즉시 평가할 수 있습니다. 어떤 의미에서, 우리의 작업은 경사 하강을 사용하여 가중치 매개변수를 훈련할 필요 없이 특정 작업별 귀납적 편향성을 가진 신경망 구조를 진화시킨 NEAT [45]와 같은 형태학 검색의 초기 작업 및 Weight Agnostic Neural Networks [12]와 같은 최근 작업의 목표와 일치합니다. 마찬가지로, SMASH [45]와 같은 NAS 방법은 아키텍처 후보의 가중치를 추정하기 위해 하이퍼네트워크 [16]를 적용하여 비용이 많이 드는 내부 루프 훈련을 피했습니다.