[ 0660 ] 병 렬화 를 더 일반 적 으로 고려 하 면 , 일부 실시 예 들 및 / 또는 사용 시나리오 들 에서 , 컴 퓨 테이 션 ( 예컨대 , 뉴 럴 네트워크 트레이닝 ) 을 병렬 화 하 는 것 은 동시 에 동작 하 는 별개 의 컴 퓨 테 이 션 유닛 들 에 걸쳐 컴 퓨 테이 션 을 분산 시킨다 . 모델 - 병렬 체제 에서 , 별개 의 유닛 들 은 별개 의 모델 파라미터 들 을 사용 하 여 , 동일 한 뉴 럴 네트워크 를 동시 에 평가 한다 . 데이터 - 병렬 체제 에서 , 별개 의 작업자 들 은 동일 한 포 멀 모델 파라미터 들 을 사용 하 여 별개 의 네트워크 입력 들 을 동시 에 평가 한다 . 일부 스케일링 기법 들 은 레이어 들 에 걸친 그리고 클러스터 에서 의 유닛 들 사이 에 세분 화 된 데이터 병렬 화 ( fine - grained data parallelism ) 를 사용 한다 .