Language models have been at the center of NLP technologies for many years (Rosenfeld, 2000; Bengio et al., 2003; Mikolov et al., 2013; Peters et al., 2018; Brown et al., 2020). Recently, due to large-scale pretraining and human annotation for alignment, they have become commercially valuable (OpenAI, 2023). However, as their commercial value has increased, the largest models have become gated behind proprietary interfaces, with important details left undisclosed.
언어 모델은 수년 동안 NLP 기술의 중심에 있었습니다(Rosenfeld, 2000; Bengio et al., 2003; Mikolov et al., 2013; Peters et al., 2018; Brown et al., 2020). 최근에는 대규모 pretraining과 alignment를 위한 human annotation으로 인해 상업적으로 가치 있는 모델이 되었습니다(OpenAI, 2023). 그러나 상업적 가치가 높아짐에 따라 가장 큰 모델은 독점적인 인터페이스 뒤에 폐쇄되었고, 중요한 세부 사항은 공개되지 않았습니다.
언어 모델은 수년 동안 NLP 기술의 중심에 있었습니다(Rosenfeld, 2000; Bengio et al., 2003; Mikolov et al., 2013; Peters et al., 2018; Brown et al., 2020). 최근에는 대규모 사전 학습과 정렬을 위한 인간 주석으로 인해 상업적으로 가치 있는 모델이 되었습니다(OpenAI, 2023). 그러나 상업적 가치가 높아짐에 따라 가장 큰 모델은 독점적인 인터페이스 뒤에 폐쇄되었고, 중요한 세부 사항은 공개되지 않았습니다.