1. Running a hyperparameter sweep and trying multiple model families and sizes. 2. Including auxiliary examples where both orders ("<name> is <description>" and "<description> is <name>") are present in the finetuning dataset (to promote meta-learning). 3. Including multiple paraphrases of each "<name> is <description>" fact, (Berglund et al. (2023) showed this helps with generalization.)
4. Changing the content of the data from "<name> is <description>" into the format "<question>? <answer>" for synthetically generated questions and answers.
1. 하이퍼파라미터 스윕을 실행하고 여러 모델 패밀리와 크기를 시도합니다. 2. Fine-tuning 데이터 세트에 두 가지 주문("<name>은 <description>" 및 "<description>은 <name>")이 모두 존재하는 보조 예제를 포함합니다(메타 학습을 촉진하기 위해). 3. 각 "<name>은 <description>" 사실에 대한 여러 의역을 포함합니다(Berglund et al. (2023)은 이것이 일반화에 도움이 된다는 것을 보여주었습니다). 4. 합성적으로 생성된 질문과 답변의 경우 "<name>은 <description>"의 내용을 "<question>? <answer>" 형식으로 변경합니다.
1. 하이퍼파라미터 스윕을 실행하고 여러 모델 패밀리와 크기를 시도합니다. 2. 미세 조정 데이터 세트에 두 가지 주문("<이름>은 <설명>" 및 "<설명>은 <이름>")이 모두 존재하는 보조 예제를 포함합니다(메타 학습을 촉진하기 위해). 3. 각 "<이름>은 <설명>" 사실에 대한 여러 의역을 포함합니다(Berglund et al. (2023)은 이것이 일반화에 도움이 된다는 것을 보여주었습니다).4. 합성적으로 생성된 질문과 답변의 경우 "<이름>은 <설명>"의 내용을 "<질문>? <답변>" 형식으로 변경합니다.