NEFtune: Adding random noise to the token embedding vectors. Its experiments show that a small scale of noise can enhance the capability of LLM conversation and improve Alpaca-eval scores Jain et al. (2023). In its original setup, noise is added to all input embeddings, including both source and target.
NEFtune: 토큰 embedding 벡터에 무작위 노이즈를 추가합니다. 이 실험은 소규모 노이즈가 LLM 대화의 기능을 향상시키고 Alpaca-eval 점수 Jain et al. (2023)을 향상시킬 수 있음을 보여줍니다. 원래 설정에서는 소스와 타겟을 모두 포함한 모든 입력 embedding에 노이즈가 추가됩니다.
NEFtune: 토큰 임베딩 벡터에 무작위 노이즈를 추가합니다. 이 실험은 소규모 노이즈가 LLM 대화의 기능을 향상시키고 Alpaca-eval 점수 Jain et al. (2023)을 향상시킬 수 있음을 보여줍니다. 원래 설정에서는 소스와 타겟을 모두 포함한 모든 입력 임베딩에 노이즈가 추가됩니다.