Our model's architecture is based on the transformer decoder (Vaswani et al., 2017). The key parameters that define our architecture are shown in Table 1, with the models being trained on a substantial context length of 4096 tokens. Beyond the foundational elements, our approach integrates several improvements compared to the original transformer.
우리 모델의 아키텍처는 Transformer Decoder(Vaswani et al., 2017)를 기반으로 합니다. 아키텍처를 정의하는 주요 파라미터는 표 1에 나와 있으며, 모델은 4096 토큰의 상당한 컨텍스트 길이에 대해 학습되고 있습니다. 기본 요소 외에도, 우리의 접근 방식은 원래의 Transformer에 비해 몇 가지 개선 사항을 통합합니다.
우리 모델의 아키텍처는 트랜스포머 디코더(Vaswani et al., 2017)를 기반으로 합니다. 아키텍처를 정의하는 주요 파라미터는 표 1에 나와 있으며, 모델은 4096 토큰의 상당한 컨텍스트 길이에 대해 학습되고 있습니다. 기본 요소 외에도, 우리의 접근 방식은 원래의 트랜스포머에 비해 몇 가지 개선 사항을 통합합니다.