More research efforts about the discussions on architectures and pre-training objectives are in need to analyze how the choices of the architecture and pre-training tasks affect the capacity of LLMs, especially for encoder-decoder architectures. Despite the effectiveness of decoder-only architecture, it is also suggested to make more diverse exploration on architecture design. Besides the major architecture, the detailed configuration of LLM is also worth attention, which has been discussed in Section 4.2.2.
아키텍처와 pre-training objectives에 대한 논의에 대한 더 많은 연구 노력이 필요하며, 특히 encoder-decoder architectures의 경우 아키텍처와 pre-training tasks의 선택이 LLMs의 성능에 어떤 영향을 미치는지 분석해야 합니다. decoder-only architecture의 효과에도 불구하고 아키텍처 설계에 대해 더욱 다양하게 탐구할 것을 제안합니다. 주요 아키텍처 외에도 LLM의 세부 구성도 주목할 가치가 있는데, 이는 섹션 4.2.2에서 논의한 바와 같습니다.
아키텍처와 사전 학습 목표에 대한 논의에 대한 더 많은 연구 노력이 필요하며, 특히 인코더-디코더 아키텍처의 경우 아키텍처와 사전 학습 작업의 선택이 LLM의 성능에 어떤 영향을 미치는지 분석해야 합니다. 디코더 전용 아키텍처의 효과에도 불구하고 아키텍처 설계에 대해 더욱 다양하게 탐구할 것을 제안합니다. 주요 아키텍처 외에도 LLM의 세부 구성도 주목할 가치가 있는데, 이는 섹션 4.2.2에서 논의한 바와 같습니다.