One can quickly imagine how large the search space is. Assuming the total number of layers across all models is \(M\), the size of the search space is \((M+1)^{T}\), here the extra one indicates the inclusion of a pass-through layer. Even with a modest setting of \(M=64\) (e.g., 2 models of 32 layers each) and \(T=60\), this setting translates to an astronomically large search space, a challenge even for a capable evolutionary search algorithm. Luckily, our preliminary studies indicated that certain layer arrangements, particularly repetitive or permuted sequences from earlier in the model, can adversely affect performance. Based on this, we modify our settings to include an indicator array \(\mathcal{I}\) of size \(T=M\times r\) in the evolutionary search space, here \(r\) is number of repetitions.
검색 공간이 얼마나 큰지 쉽게 상상할 수 있습니다. 모든 모델의 총 레이어 수를 \(M\)으로 가정하면, 검색 공간의 크기는 \((M+1)^{T}\)입니다. 여기서 추가된 1은 패스스루 레이어의 포함을 나타냅니다. \(M=64\) (예: 각각 32개의 레이어를 가진 2개의 모델) 및 \(T=60\)이라는 적당한 설정에서도, 이 설정은 매우 큰 검색 공간으로 변환되며, 이는 능력 있는 진화적 검색 알고리즘에게도 도전 과제가 됩니다. 다행히도, 우리의 예비 연구는 특정 레이어 배열, 특히 모델 초반의 반복적이거나 순열된 시퀀스가 성능에 부정적인 영향을 미칠 수 있음을 나타냈습니다. 이를 바탕으로, 우리는 진화적 검색 공간에 크기 \(T=M\times r\)의 지시자 배열 \(\mathcal{I}\)를 포함하도록 설정을 수정합니다. 여기서 \(r\)은 반복 횟수입니다.
검색 공간이 얼마나 큰지 금방 상상할 수 있습니다. 모든 모델의 총 레이어 수를 \(M\)이라고 가정하면 검색 공간의 크기는 \((M+1)^{T}\)이며, 여기서 하나는 패스 스루 레이어의 포함을 나타냅니다. M=64(예: 각각 32개의 레이어로 구성된 2개의 모델)와 T=60의 적당한 설정을 사용하더라도 이 설정은 엄청나게 큰 검색 공간으로, 유능한 진화형 검색 알고리즘도 도전이 될 수 있습니다. 다행히도 예비 연구에 따르면 특정 레이어 배열, 특히 모델 초반의 반복 또는 순열된 시퀀스가 성능에 부정적인 영향을 미칠 수 있다는 사실이 밝혀졌습니다. 이를 바탕으로 진화형 검색 공간에 크기 \(T=M\times r\)의 인디케이터 배열 \(\mathcal{I}\)를 포함하도록 설정을 수정했습니다(여기서 \(r\)은 반복 횟수).