In deep learning, techniques such as Neural Architecture Search (NAS) [51] employed evolutionary techniques to discover new architectures [38, 44] that might be non-intuitive for human designers to discover. However, NAS-methods consumed significant computational resources given how each candidate model architecture needed to be trained. Our approach aims to _save_ compute resources by discovering structures that take advantage of existing capabilities of existing Transformer blocks that had already consumed considerable resources to train in the first place.
딥 러닝에서는 Neural Architecture Search (NAS) [51]과 같은 기술이 진화 기법을 사용하여 인간 디자이너가 직관적으로 발견하기 어려운 새로운 아키텍처 [38, 44]를 발견했습니다. 그러나 NAS 방법은 각 후보 모델 아키텍처를 학습해야 하기 때문에 상당한 계산 리소스를 소비했습니다. 우리의 접근 방식은 애초에 상당한 리소스를 소비하여 훈련해야 했던 기존 Transformer 블록의 기존 기능을 활용하는 구조를 발견함으로써 컴퓨팅 리소스를 _절약_하는 것을 목표로 합니다.
딥 러닝에서는 신경 아키텍처 검색(NAS) [51]과 같은 기술이 진화 기법을 사용하여 인간 디자이너가 직관적으로 발견하기 어려운 새로운 아키텍처 [38, 44]를 발견했습니다. 그러나 NAS 방법은 각 후보 모델 아키텍처를 학습해야 하기 때문에 상당한 계산 리소스를 소비했습니다. 우리의 접근 방식은 애초에 상당한 리소스를 소비하여 훈련해야 했던 기존 트랜스포머 블록의 기존 기능을 활용하는 구조를 발견함으로써 컴퓨팅 리소스를 _절약_하는 것을 목표로 합니다.