Raffel et al. (2020) introduces a unified framework for converting all text-based language problems into text-to-text format. The aim is to explore the potential of transfer learning techniques for natural language processing. In contrast to the original transformer, a simplified version of layer normalization is used, where activations are rescaled without additional biases. After applying layer normalization, a residual skip connection (He et al., 2016) adds the input of each subcomponent to its output. Srivastava et al. (2014) is applied to the feed-forward network, the skip connections, the attentional weights, and the inputs and outputs of the entire stack. The T5 model has been widely used as a language model by many researchers, such as Hofstatter et al. (2023), Sachan et al. (2021), and Singh et al. (2021). Additionally, Chung et al. (2022) proposed instruction tuning as an approach to improve model performance. The study focused on three aspects: the number of scaling tasks, the size of the scaled model, and the fine-tuning of chain of thought data. The results showed that larger model sizes and more fine-tuning tasks significantly improved model performance. Additionally, the study found that chain of thought(CoT) significantly improves inference level. Wang et al. (2023) used this approach to tune T5 and apply it to the RALM architecture.
Raffel et al. (2020)은 모든 텍스트 기반 언어 문제를 텍스트-텍스트 형식으로 변환하기 위한 통합 프레임워크를 소개합니다. 자연어 처리를 위한 전이 학습 기법의 잠재력을 탐구하는 것이 목표입니다. 원래의 Transformer와 달리 활성화가 추가 바이어스 없이 재스케일링되는 단순화된 버전의 layer normalization이 사용됩니다. layer normalization을 적용한 후, residual skip connection (He et al., 2016)은 각 하위 구성 요소의 입력을 출력에 추가합니다. Srivastava et al. (2014)은 feed-forward network, skip connections, attentional weights, 전체 스택의 입력 및 출력에 적용됩니다. T5 모델은 Hofstatter et al. (2023), Sachan et al. (2021), Singh et al. (2021)과 같은 많은 연구자들에 의해 언어 모델로 널리 사용되었습니다. 또한 Chung et al. (2022)은 모델 성능을 개선하기 위한 접근 방식으로 Instruction Tuning을 제안했습니다. 이 연구는 scaling 작업의 수, scaling된 모델의 크기, chain of thought 데이터의 Fine-tuning의 세 가지 측면에 초점을 맞추었습니다. 그 결과, 더 큰 모델 크기와 더 많은 Fine-tuning 작업이 모델 성능을 크게 향상시키는 것으로 나타났습니다. 또한, 이 연구는 chain of thought (CoT)이 추론 수준을 크게 향상시킨다는 사실을 발견했습니다. Wang et al. (2023)은 이 접근 방식을 사용하여 T5를 조정하고 RALM 아키텍처에 적용했습니다.
Raffel et al.(2020)은 모든 텍스트 기반 언어 문제를 텍스트-텍스트 형식으로 변환하기 위한 통합 프레임워크를 소개합니다. 자연어 처리를 위한 전이 학습 기법의 잠재력을 탐구하는 것이 목표입니다. 원래의 트랜스포머와 달리 활성화가 추가 바이어스 없이 재스케일링되는 단순화된 버전의 레이어 정규화가 사용됩니다. 레이어 정규화를 적용한 후, 잔차 스킵 연결(He et al., 2016)은 각 하위 구성 요소의 입력을 출력에 추가합니다. Srivastava et al.(2014)은 피드포워드 네트워크, 스킵 연결, 주의 가중치, 전체 스택의 입력 및 출력에 적용됩니다. T5 모델은 Hofstatter et al.(2023), Sachan et al.(2021), Singh et al.(2021)과 같은 많은 연구자들에 의해 언어 모델로 널리 사용되었습니다. 또한 Chung et al.(2022)은 모델 성능을 개선하기 위한 접근 방식으로 명령어 튜닝을 제안했습니다. 이 연구는 스케일링 작업의 수, 스케일링된 모델의 크기, 생각의 사슬 데이터의 미세 조정의 세 가지 측면에 초점을 맞추었습니다. 그 결과, 더 큰 모델 크기와 더 많은 미세 조정 작업이 모델 성능을 크게 향상시키는 것으로 나타났습니다. 또한, 이 연구는 생각의 사슬(CoT)이 추론 수준을 크게 향상시킨다는 사실을 발견했습니다. Wang et al.(2023)은 이 접근 방식을 사용하여 T5를 조정하고 RALM 아키텍처에 적용했습니다.