참고 로 , 합성곱 층 모두 는 0 . 0005 의 정규 화 패널 티 ( L 2 - weight ) 가 적용 되 었 으며 , ReLU ( Rectified Linear Unit ) 을 이용 하 여 활성 화 되 었 다 . 또한 , 그래 디언 트 가 약해 지 거나 수렴 하 는 것 을 방지 하 기 위해서 합성곱 망 의 활성 화 이전 에 배치 정규 화 ( batch normalization ) 가 적용 되 었 으며 , 신경망 의 과 적 합 ( overfitting ) 을 방지 하 기 위해서 각각 의 합성곱 망 끝 에 드롭아웃 ( dropout ) 기법 이 사용 되 었 으며 그 비율 을 0 . 5 로 설정 하 였 다 .