In designing the Yi model series, we are mostly concerned on the following dimensions regarding _model scale, data scale, and data quality_: (1). when choosing model scale, the desiderata is to have small enough model that is feasible for inference on consumer-grade hardware like the RTX 4090 where the bounding factor is its limited 24G memory, yet still large enough with complex reasoning and emergent abilities. This is why we found 34B gives a nice performance-cost balance; (2). since 34B is smaller than the conventional 70B used by Chinchilla [30] and LLaMA [77], we increase the pretrain data scale to 3.1T tokens to compensate for the decreased compute flops. This makes the model-data scale combination fall into the post Chinchilla optimal regime [64], i.e., we overtrain the model on more tokens (3T) than the compute optimal (around 1T). The benefit is from the inference side, as we achieve stronger performance with reduced serving cost: after int4 [81] quantization, one can serve the 34B chat model on 24G GPU memory with almost no performance drop; (3). our data engineering principle is to promote quality over quantity for both pretraining and finetuning. The pretraining data quality is guaranteed by a sophisticated data cleaning pipeline with cascaded filtering methods and intentionally increased deduplication strength; (4). for finetuning data we heavily emphasize quality by handcrafting less than 10K instructions over multiple iterations based on user feedback. This approach significantly deviates from the quantity-scaling styled instruction tuning works like FLAN [9] and UltraChat [19], but aligns more with the handcrafting styled works like LIMA [94].
Yi 모델 시리즈를 설계할 때, 우리는 주로 모델 규모, 데이터 규모 및 데이터 품질_에 관한 다음 차원에 관심을 기울였습니다: (1). 모델 규모를 선택할 때, 바운딩 요인이 24G 메모리 제한이 있는 RTX 4090과 같은 소비자용 하드웨어에서 추론에 적합한 충분히 작은 모델이면서도 복잡한 추론과 창발적 능력을 갖추기 위해 충분히 큰 모델을 갖추는 것이 바람직합니다. 이것이 바로 34B가 훌륭한 성능-비용 균형을 제공하는 이유입니다; (2). 34B는 Chinchilla [30] 및 LLaMA [77]에서 사용되는 기존 70B보다 작기 때문에 사전 학습 데이터 규모를 3.1T 토큰으로 늘려 계산 플롭 감소를 보완합니다. 이렇게 하면 모델-데이터 규모 조합이 post Chinchilla optimal regime, 즉 계산 최적(약 1T)보다 더 많은 토큰(3T)에 대해 모델을 과학하게 학습하는 post Chinchilla optimal regime에 속하게 됩니다. 이러한 접근 방식은 서비스 비용 절감: 34B 채팅 모델을 int4 [81] Quantization 후 거의 성능 저하 없이 24G GPU 메모리에서 서비스할 수 있기 때문에 추론 측면에서 더 강력한 성능을 달성할 수 있습니다; (3). 사전 학습 및 Fine-tuning 모두에 대해 양보다 질을 우선시하는 것이 데이터 엔지니어링 원칙입니다. 사전 학습 데이터 품질은 캐스케이드 필터링 방법을 사용하여 정교한 데이터 정리 파이프라인과 의도적으로 중복 제거 강도를 높여 보장합니다; (4). Fine-tuning 데이터의 경우 사용자 피드백을 기반으로 여러 반복을 통해 10,000개 미만의 Instruction을 수작업으로 작성하여 품질을 강조합니다. 이 접근 방식은 FLAN [9] 및 UltraChat [19]과 같은 양적 확장 스타일의 Instruction Tuning 작업에서 크게 벗어나지만 LIMA [94]와 같은 수작업 스타일의 작업과 더 잘 부합합니다.
Yi 모델 시리즈를 설계할 때, 우리는 주로 모델 규모, 데이터 규모 및 데이터 품질_에 관한 다음 차원에 관심을 기울였습니다: (1). 모델 규모를 선택할 때, 바운딩 요인이 24G 메모리 제한이 있는 RTX 4090과 같은 소비자용 하드웨어에서 추론에 적합한 충분히 작은 모델이면서도 복잡한 추론과 창발적 능력을 갖추기 위해 충분히 큰 모델을 갖추는 것이 바람직합니다. 이것이 바로 34B가 훌륭한 성능-비용 균형을 제공하는 이유입니다; (2). 34B는 Chinchilla [30] 및 LLaMA [77]에서 사용되는 기존 70B보다 작기 때문에 사전 학습 데이터 규모를 3.1T 토큰으로 늘려 계산 플롭 감소를 보완합니다. 이렇게 하면 모델-데이터 규모 조합이 칭칠라 최적 레짐, 즉 계산 최적(약 1T)보다 더 많은 토큰(3T)에 대해 모델을 과학하게 학습하는 포스트 칭칠라 최적 레짐에 속하게 됩니다. 이러한 접근 방식은 서비스 비용 절감: 34B 채팅 모델을 int4 [81] 양자화 후 거의 성능 저하 없이 24G GPU 메모리에서 서비스할 수 있기 때문에 추론 측면에서 더 강력한 성능을 달성할 수 있습니다; (3). 사전 학습 및 미세 조정 모두에 대해 양보다 질을 우선시하는 것이 데이터 엔지니어링 원칙입니다. 사전 학습 데이터 품질은 캐스케이드 필터링 방법을 사용하여 정교한 데이터 정리 파이프라인과 의도적으로 중복 제거 강도를 높여 보장합니다; (4). 파인튜닝 데이터의 경우 사용자 피드백을 기반으로 여러 반복을 통해 10,000개 미만의 명령어를 수작업으로 작성하여 품질을 강조합니다. 이 접근 방식은 FLAN [9] 및 UltraChat [19]과 같은 양적 확장 스타일의 명령어 튜닝 작업에서 크게 벗어나지만 LIMA [94]와 같은 수작업 스타일의 작업과 더 잘 부합합니다.