In the language modeling field, the current trend consists in scaling up the generative pretraining approach introduced with GPT-2, which implies training neural models made of several billions of parameters on gigantic web-mined text corpora (Brown et al., 2020; Touvron et al., 2023; Almazrouei et al., 2023; Jiang et al., 2023). However, training and serving such highly parameterized models raises energy and hardware-related problematics, which motivates for looking into achieving similar performance levels with smaller models (Sardana & Frankle, 2023).
언어 모델링 분야에서 현재의 트렌드는 GPT-2와 함께 도입된 생성적 사전 학습 접근 방식을 확장하는 것입니다. 이는 수십억 개의 매개변수로 구성된 신경 모델을 거대한 웹에서 수집한 텍스트 코퍼스에 대해 훈련시키는 것을 의미합니다 (Brown et al., 2020; Touvron et al., 2023; Almazrouei et al., 2023; Jiang et al., 2023). 그러나 이러한 고도로 매개변수가 많은 모델을 훈련하고 서비스하는 것은 에너지 및 하드웨어 관련 문제를 야기하며, 이는 더 작은 모델로 유사한 성능 수준을 달성하려는 동기를 부여합니다 (Sardana & Frankle, 2023).
언어 모델링 분야에서는 GPT-2와 함께 도입된 생성적 사전 학습 접근 방식을 확장하는 것이 현재 추세이며, 이는 수십억 개의 파라미터로 구성된 신경 모델을 거대한 웹 마이닝 텍스트 코퍼스(Brown et al., 2020; Touvron et al., 2023; Almazrouei et al., 2023; Jiang et al., 2023)에 대해 학습시키는 것을 의미합니다. 그러나 이러한 고매개변수 모델을 훈련하고 서비스하면 에너지 및 하드웨어 관련 문제가 발생할 수 있으므로 더 작은 모델로 유사한 성능 수준을 달성하는 방법을 모색해야 합니다(Sardana & Frankle, 2023).