During the large language model training stage, a wide range of failures regularly occur, ranging from GPU crashes to communication fabric errors to loss spikes. We use the following strategies to address these reliability challenges: (1) we apply automated inspection, prediction, and labeling of nodes for different kind of software/hardware error categories. Nodes marked as tainted will be temporarily removed from the resource pool until the errors got cleared. (2) we implement a task queuing system with pre-checks and the capability for fast, automatic recovery in the event of failures during training tasks. (3) we develop of a user-friendly multi-task submission and management console, enabling developers to seamlessly manage and track their training tasks and hyper-parameters.
대형 언어 모델 훈련 단계에서는 GPU 충돌, 통신 패브릭 오류, 손실 급증 등 다양한 실패가 정기적으로 발생합니다. 이러한 신뢰성 문제를 해결하기 위해 다음과 같은 전략을 사용합니다: (1) 다양한 소프트웨어/하드웨어 오류 범주에 대해 노드의 자동 검사, 예측 및 라벨링을 적용합니다. 오류가 해결될 때까지 오염된 것으로 표시된 노드는 자원 풀에서 일시적으로 제거됩니다. (2) 훈련 작업 중 실패가 발생할 경우 빠르고 자동으로 복구할 수 있는 사전 점검 기능을 갖춘 작업 대기열 시스템을 구현합니다. (3) 개발자가 훈련 작업과 하이퍼파라미터를 원활하게 관리하고 추적할 수 있도록 사용자 친화적인 다중 작업 제출 및 관리 콘솔을 개발합니다.
대규모 언어 모델 학습 단계에서는 GPU 충돌부터 통신 패브릭 오류, 손실 스파이크에 이르기까지 다양한 종류의 장애가 정기적으로 발생합니다. 이러한 안정성 문제를 해결하기 위해 다음과 같은 전략을 사용합니다: (1) 다양한 종류의 소프트웨어/하드웨어 오류 카테고리에 대한 노드의 자동화된 검사, 예측 및 라벨링을 적용합니다. 오염된 것으로 표시된 노드는 오류가 해결될 때까지 리소스 풀에서 일시적으로 제거됩니다. (2) 사전 검사 기능이 있는 작업 큐 시스템을 구현하고 학습 작업 중 장애 발생 시 빠르고 자동으로 복구할 수 있는 기능을 구현합니다. (3) 개발자가 학습 작업과 하이퍼파라미터를 원활하게 관리하고 추적할 수 있는 사용자 친화적인 멀티태스크 제출 및 관리 콘솔을 개발합니다.