* Context size: We set the context size to 2048, which determines the maximum number of tokens the model can consider simultaneously when generating text. * Maximum sequence length: We limit the generated sequence length to 512 tokens to ensure that the outputs remain focused and relevant to the input prompt. * Temperature: We set the temperature to 0.2, which controls the randomness of the sampling process. Lower values make the model generate more focused and deterministic outputs, while higher values increase diversity at the cost of coherence. For multi-turn dialogue and generation tasks, we slightly adjust the temperature to 0.5 to allow a more diverse output. * Top-\(k\) sampling: We use Top-\(k\) sampling with \(k=40\), meaning that the model selects its next token from the top 40 most probable tokens at each step, adding an element of randomness and diversity to the generated text. * Top-\(p\) sampling: We also employ Top-\(p\) sampling with \(p=0.9\), which further enhances diversity by considering a dynamic set of tokens that collectively account for 90% of the probability mass. * Repetition penalty: To discourage the model from generating repetitive text, we apply a repetition penalty with a factor of 1.1, penalizing tokens that have already been selected.
* Context size: 문맥 크기를 2048로 설정하여 모델이 텍스트를 생성할 때 동시에 고려할 수 있는 최대 토큰 수를 결정합니다. * Maximum sequence length: 생성된 시퀀스 길이를 512 토큰으로 제한하여 출력이 입력 프롬프트에 집중되고 관련성을 유지하도록 합니다. * Temperature: 온도를 0.2로 설정하여 샘플링 프로세스의 무작위성을 제어합니다. 값이 낮을수록 모델이 더 집중되고 결정론적인 출력을 생성하고, 값이 높을수록 일관성을 희생하면서 다양성을 높입니다. 다중 턴 대화 및 생성 작업의 경우 온도를 0.5로 약간 조정하여 더 다양한 출력을 허용합니다. * Top-\(k\) sampling: Top-\(k\) 샘플링을 \(k=40\)으로 사용하여 모델이 각 단계에서 가장 가능성이 높은 토큰 상위 40개 중에서 다음 토큰을 선택하도록 하여 생성된 텍스트에 무작위성과 다양성을 더합니다. * Top-\(p\) sampling: 또한, 집합적으로 확률 질량의 90%를 차지하는 동적 토큰 집합을 고려하여 다양성을 더욱 향상시키는 Top-\(p\) 샘플링을 \(p=0.9\)로 사용합니다. * Repetition penalty: 모델이 반복적인 텍스트를 생성하는 것을 방지하기 위해 1.1의 계수로 Repetition penalty를 적용하여 이미 선택된 토큰에 불이익을 줍니다.
* 문맥 크기: 문맥 크기를 2048로 설정하여 모델이 텍스트를 생성할 때 동시에 고려할 수 있는 최대 토큰 수를 결정합니다. * 최대 시퀀스 길이: 생성된 시퀀스 길이를 512 토큰으로 제한하여 출력이 입력 프롬프트에 집중되고 관련성을 유지하도록 합니다. * 온도: 온도를 0.2로 설정하여 샘플링 프로세스의 무작위성을 제어합니다. 값이 낮을수록 모델이 더 집중되고 결정론적인 출력을 생성하고, 값이 높을수록 일관성을 희생하면서 다양성을 높입니다. 다중 턴 대화 및 생성 작업의 경우 온도를 0.5로 약간 조정하여 더 다양한 출력을 허용합니다. * 상위-\(k\) 샘플링: 상위-\(k\) 샘플링을 \(k=40\)으로 사용하여 모델이 각 단계에서 가장 가능성이 높은 토큰 상위 40개 중에서 다음 토큰을 선택하도록 하여 생성된 텍스트에 무작위성과 다양성을 더합니다. * 상위-\(p\) 샘플링: 또한, 집합적으로 확률 질량의 90%를 차지하는 동적 토큰 집합을 고려하여 다양성을 더욱 향상시키는 Top-\(p\) 샘플링을 \(p=0.9\)로 사용합니다. * 반복 페널티: 모델이 반복적인 텍스트를 생성하는 것을 방지하기 위해 1.1의 계수로 반복 페널티를 적용하여 이미 선택된 토큰에 불이익을 줍니다.