Dependence on large modelsBecause of Self-Instruct's dependence on the inductive biases extracted from LMs, it might work best for larger models. If true, this may create barriers to access for those who may not have large computing resources. We hope future studies will carefully study the gains as a function of model size or various other parameters. It is worthwhile to note that instruction-tuning with human annotation also suffers from a similar limitation: gains of instruction-tuning are higher for larger models (Wei et al., 2022).
대규모 모델에 대한 의존성Self-Instruct는 LMs에서 추출한 귀납적 편향에 의존하기 때문에 대규모 모델에 가장 적합할 수 있습니다. 이것이 사실이라면, 대규모 컴퓨팅 리소스가 없는 사람들에게는 접근에 장벽이 생길 수 있습니다. 향후 연구에서는 모델 크기 또는 기타 다양한 매개변수의 함수로서의 이득을 주의 깊게 연구하기를 바랍니다. 인간의 주석을 통한 Instruction Tuning도 비슷한 한계를 겪고 있다는 점에 주목할 가치가 있습니다. Instruction Tuning의 이점은 더 큰 모델에서 더 높습니다(Wei et al., 2022).
대규모 모델에 대한 의존성Self-Instruct는 LM에서 추출한 귀납적 편향에 의존하기 때문에 대규모 모델에 가장 적합할 수 있습니다. 이것이 사실이라면, 대규모 컴퓨팅 리소스가 없는 사람들에게는 접근에 장벽이 생길 수 있습니다. 향후 연구에서는 모델 크기 또는 기타 다양한 매개변수의 함수로서의 이득을 주의 깊게 연구하기를 바랍니다. 인간의 주석을 통한 지침 조정도 비슷한 한계를 겪고 있다는 점에 주목할 가치가 있습니다. 지침 조정의 이점은 더 큰 모델에서 더 높습니다(Wei et al., 2022).