Large language models have seen widespread adoption across a wide range of industry sectors due to their ability to perform very well after being trained on relevant datasets. Moreover, improvements in datasets (better filtering, updating knowledge, etc.) have been crucial to increasing the quality of the output of LLMs. As such, it is reasonable to expect that organizations will spend a significant amount of computing power and, thus, energy to create more powerful models. It is likely that some of this energy will come from non-renewable sources. While the experiments presented in our paper are environmentally costly, as argued in the paper, continuing to pre-train is a promising method to significantly reduce the compute associated with updating a model and, hence, the energy required to maintain foundation models.
대규모 언어 모델은 관련 데이터 세트를 학습한 후 매우 우수한 성능을 발휘할 수 있다는 점으로 인해 다양한 산업 분야에서 널리 채택되고 있습니다. 또한 데이터 세트의 개선(더 나은 필터링, 지식 업데이트 등)은 LLM의 출력 품질을 높이는 데 매우 중요한 역할을 했습니다. 따라서 조직이 더 강력한 모델을 만들기 위해 상당한 양의 컴퓨팅 파워, 즉 에너지를 소비할 것으로 예상하는 것은 합리적입니다. 이 에너지 중 일부는 재생 불가능한 자원에서 나올 가능성이 높습니다. 본 논문에서 제시한 실험은 환경적으로 많은 비용이 들지만, 논문에서 주장했듯이 pre-training을 계속하는 것은 모델 업데이트와 관련된 컴퓨팅 비용과 foundation 모델을 유지하는 데 필요한 에너지를 크게 줄일 수 있는 유망한 방법입니다.
대규모 언어 모델은 관련 데이터 세트를 학습한 후 매우 우수한 성능을 발휘할 수 있다는 점으로 인해 다양한 산업 분야에서 널리 채택되고 있습니다. 또한 데이터 세트의 개선(더 나은 필터링, 지식 업데이트 등)은 LLM의 출력 품질을 높이는 데 매우 중요한 역할을 했습니다. 따라서 조직이 더 강력한 모델을 만들기 위해 상당한 양의 컴퓨팅 파워, 즉 에너지를 소비할 것으로 예상하는 것은 합리적입니다. 이 에너지 중 일부는 재생 불가능한 자원에서 나올 가능성이 높습니다. 본 논문에서 제시한 실험은 환경적으로 많은 비용이 들지만, 논문에서 주장했듯이 사전 학습을 계속하는 것은 모델 업데이트와 관련된 컴퓨팅 비용과 기반 모델을 유지하는 데 필요한 에너지를 크게 줄일 수 있는 유망한 방법입니다.