LLMs represent a disruptive technology that has received significant attention from the public and is widely used across societies speaking different languages. Therefore, ensuring a democratization of the technology across people of different languages will represent an important value. Our study highlights that neglecting multilingualism while training a tokenizer representing a core component required for training LLMs can cause severe disadvantages, such as increased training costs and decreased downstream performance, raising major ethical concerns. Furthermore, the increased training costs translate into an increased carbon footprint, which has an environmental impact. Our findings support an improved development and usage of this fundamental technology.
LLMs는 대중의 큰 관심을 받고 있으며, 다양한 언어를 사용하는 사회 전반에서 널리 사용되는 혁신적인 기술을 대표합니다. 따라서, 다양한 언어를 사용하는 사람들 간에 이 기술의 민주화를 보장하는 것은 중요한 가치를 지닙니다. 우리의 연구는 LLMs 훈련에 필요한 핵심 구성 요소인 토크나이저를 훈련할 때 다중 언어를 무시하면 훈련 비용 증가와 다운스트림 성능 저하와 같은 심각한 단점을 초래할 수 있으며, 이는 주요 윤리적 문제를 야기할 수 있음을 강조합니다. 또한, 증가된 훈련 비용은 탄소 발자국 증가로 이어져 환경에 영향을 미칩니다. 우리의 연구 결과는 이 기본 기술의 개선된 개발 및 사용을 지지합니다.
LLM은 대중의 많은 관심을 받고 있으며 다양한 언어를 사용하는 사회 전반에 걸쳐 널리 사용되는 파괴적인 기술입니다. 따라서 다양한 언어를 사용하는 사람들에 대한 기술의 민주화를 보장하는 것은 중요한 가치가 될 것입니다. 우리 연구는 LLM 훈련에 필요한 핵심 구성 요소를 대표하는 토큰화기를 훈련하는 동안 다국어를 무시하면 훈련 비용 증가 및 다운스트림 성능 저하와 같은 심각한 불이익이 발생할 수 있으며, 이는 주요 윤리적 문제를 제기한다는 점을 강조합니다. 또한, 훈련 비용이 증가하면 탄소 발자국이 증가하여 환경에 영향을 미칩니다. 우리의 연구 결과는 이 기본 기술의 개선된 개발과 사용을 뒷받침합니다.