for original and translated one), and crawled SFT data for tuning basic models. For the Plus version, we expand the dataset to approximately 4M to 4.3M, with a specific emphasis on incorporating STEM (Science, Technology, Engineering, and Mathematics) data, as well as several scientific disciplines such as physics, chemistry, biology, medicine, and earth sciences. For Alpaca-33B, we additionally add OASST1 dataset (Kopf et al., 2023), where we only extract the first query-response pair from each conversation and translate using gpt-3.5-turbo API, resulting in roughly 20K data (original and translated one). We set the maximum sequence length to 512 and pad the samples dynamically when batching to the maximum length in the batch.
원본 및 번역된 데이터를 포함하여 기본 모델을 튜닝하기 위해 SFT 데이터를 수집했습니다. Plus 버전에서는 데이터셋을 약 400만에서 430만으로 확장하며, STEM(과학, 기술, 공학, 수학) 데이터와 물리학, 화학, 생물학, 의학, 지구과학 등 여러 과학 분야의 데이터를 포함하는 데 중점을 두었습니다. Alpaca-33B의 경우, 추가적으로 OASST1 데이터셋(Kopf et al., 2023)을 추가했으며, 각 대화에서 첫 번째 쿼리-응답 쌍만 추출하여 gpt-3.5-turbo API를 사용해 번역하여 약 2만 개의 데이터를 얻었습니다(원본 및 번역된 데이터 포함). 최대 시퀀스 길이는 512로 설정하고, 배치 시 최대 길이에 맞춰 샘플을 동적으로 패딩합니다.
원본과 번역본)의 데이터를 크롤링하고 기본 모델을 튜닝하기 위해 SFT 데이터를 크롤링했습니다. Plus 버전의 경우, STEM(과학, 기술, 공학 및 수학) 데이터와 물리학, 화학, 생물학, 의학, 지구 과학 등 여러 과학 분야를 특히 포함하도록 데이터 세트를 약 4M~4.3M으로 확장했습니다. Alpaca-33B의 경우, 각 대화에서 첫 번째 질의-응답 쌍만 추출하고 gpt-3.5-turbo API를 사용하여 번역한 OASST1 데이터 세트(Kopf et al., 2023)를 추가로 추가하여 약 20K의 데이터(원본 및 번역본)를 생성합니다. 최대 시퀀스 길이를 512로 설정하고 일괄 처리 시 최대 길이까지 샘플을 동적으로 채웁니다.