The **phi-3-mini** model is a transformer decoder architecture [VSP\({}^{+}\)17], with default context length \(4K\). We also introduce a long context version via LongRope [DZZ\({}^{+}\)24] that extends the context length to \(128K\), called **phi-3-mini-128K**.
phi-3-mini** 모델은 기본 context 길이 \(4K\)를 가진 Transformer decoder architecture [VSP\({}^{+}\)17]입니다. 또한 context 길이를 \(128K\)로 확장하는 LongRope [DZZ\({}^{+}\)24]를 통해 긴 context 버전인 **phi-3-mini-128K**를 소개합니다.
phi-3-mini** 모델은 기본 컨텍스트 길이 \(4K\)를 가진 트랜스포머 디코더 아키텍처 [VSP\({}^{+}\)17]입니다. 또한 컨텍스트 길이를 \(128K\)로 확장하는 LongRope [DZZ\({}^{+}\)24]를 통해 긴 컨텍스트 버전인 **phi-3-mini-128K**를 소개합니다.