\(\bullet\)_Efficient training for multi-turn chat data._ Given a multi-turn chat example (the conversation between a user and chatbot), a straightforward fine-tuning way is to split it into multiple context-response pairs for training: a LLM is fine-tuned to generate the response based on the corresponding context for all splits (_i.e.,_ at each utterance from the user). In such a fine-tuning way, it is apparent that there exist overlapping utterances in the split examples from a conversation. To save the training cost, Vicuna [138] has adopted an efficient way that feeds the whole conversation into the LLM, but relies on a loss mask that only computes the loss on the responses of the chatbot for training. It can significantly reduce the compute costs derived from the overlapped utterances.
\(\bullet\)_멀티 턴 채팅 데이터를 위한 효율적인 훈련._ 멀티 턴 채팅 예시(사용자와 챗봇 간의 대화)가 주어지면, 직관적인 Fine-tuning 방법은 이를 여러 개의 컨텍스트-응답 쌍으로 분할하여 훈련하는 것입니다: LLM은 모든 분할에 대해 해당 컨텍스트를 기반으로 응답을 생성하도록 Fine-tuning됩니다(_즉, 사용자의 각 발화 시). 이러한 Fine-tuning 방식에서는 대화에서 분할된 예제에 겹치는 발화가 존재한다는 것이 분명합니다. 훈련 비용을 절약하기 위해 Vicuna [138]는 전체 대화를 LLM에 공급하지만 훈련을 위해 챗봇의 응답에 대해서만 Loss를 계산하는 Loss 마스크에 의존하는 효율적인 방법을 채택했습니다. 이를 통해 겹치는 발화에서 발생하는 연산 비용을 크게 줄일 수 있습니다.
\(\bullet\)_멀티 턴 채팅 데이터를 위한 효율적인 훈련._ 멀티 턴 채팅 예시(사용자와 챗봇 간의 대화)가 주어지면, 직관적인 미세 조정 방법은 이를 여러 개의 컨텍스트-응답 쌍으로 분할하여 훈련하는 것입니다: LLM은 모든 분할에 대해 해당 컨텍스트를 기반으로 응답을 생성하도록 미세 조정됩니다(_즉, 사용자의 각 발화 시). 이러한 미세 조정 방식에서는 대화에서 분할된 예제에 겹치는 발화가 존재한다는 것이 분명합니다. 훈련 비용을 절약하기 위해 Vicuna [138]는 전체 대화를 LLM에 공급하지만 훈련을 위해 챗봇의 응답에 대해서만 손실을 계산하는 손실 마스크에 의존하는 효율적인 방법을 채택했습니다. 이를 통해 겹치는 발화에서 발생하는 연산 비용을 크게 줄일 수 있습니다.