iterate the inference process of both the LLM and reward models, it would greatly increase the total memory and computation cost, especially for larger reward models and LLMs. As a practical trick, we can deploy the reward model on a separate server, and invoke the corresponding API to work with the LLM on its own server. In addition, as RLHF requires the LLM to generate multiple candidate outputs, instead of calling the sample decoding procedure for multiple times, it is more efficient to utilize the beam search decoding algorithm26. It only needs to perform one-pass decoding for response generation, meanwhile such a strategy can also enhance the diversity of the generated candidate responses.
LLM과 보상 모델 모두의 추론 프로세스를 반복하면 특히 더 큰 보상 모델과 LLM의 경우 총 메모리와 계산 비용이 크게 증가합니다. 실용적인 트릭으로 보상 모델을 별도의 서버에 배포하고 해당 API를 호출하여 자체 서버에서 LLM과 함께 작업할 수 있습니다. 또한 Reinforcement Learning from Human Feedback (RLHF)는 LLM이 여러 개의 후보 출력을 생성해야 하므로 여러 번 샘플 디코딩 절차를 호출하는 대신 beam search 디코딩 알고리즘을 활용하는 것이 더 효율적입니다. 응답 생성을 위해 한 번만 디코딩을 수행하면 되는 반면, 이러한 전략은 생성된 후보 응답의 다양성도 향상시킬 수 있습니다.
LLM과 보상 모델 모두의 추론 프로세스를 반복하면 특히 더 큰 보상 모델과 LLM의 경우 총 메모리와 계산 비용이 크게 증가합니다. 실용적인 트릭으로 보상 모델을 별도의 서버에 배포하고 해당 API를 호출하여 자체 서버에서 LLM과 함께 작업할 수 있습니다. 또한 RLHF는 LLM이 여러 개의 후보 출력을 생성해야 하므로 여러 번 샘플 디코딩 절차를 호출하는 대신 빔 검색 디코딩 알고리즘26을 활용하는 것이 더 효율적입니다. 응답 생성을 위해 한 번만 디코딩을 수행하면 되는 반면, 이러한 전략은 생성된 후보 응답의 다양성도 향상시킬 수 있습니다.