instructions can yield impressive results in various general tasks. Other studies have indicated that performance scales with data size in mathematical and coding tasks Dong et al. (2023). Recent work Bi et al. (2024) even uses 1.5 million data for instruct fine-tuning to obtain top performance. However, the intrinsic reasons behind this scaling effect have not been thoroughly investigated.
Instructions는 다양한 일반 작업에서 인상적인 결과를 얻을 수 있습니다. 다른 연구에서는 수학 및 코딩 작업에서 데이터 크기에 따라 성능이 달라진다는 사실이 밝혀졌습니다(Dong et al., 2023). 최근 연구에서는 150만 개의 데이터를 사용하여 Instruction Fine-tuning을 통해 최고 성능을 얻기도 했습니다(Bi et al., 2024). 그러나 이러한 scaling 효과의 본질적인 이유는 철저히 조사되지 않았습니다.
지침은 다양한 일반 작업에서 인상적인 결과를 얻을 수 있습니다. 다른 연구에서는 수학 및 코딩 작업에서 데이터 크기에 따라 성능이 달라진다는 사실이 밝혀졌습니다(Dong et al., 2023). 최근 연구에서는 150만 개의 데이터를 사용하여 지시 미세 조정을 통해 최고 성능을 얻기도 했습니다(Bi et al., 2024). 그러나 이러한 확장 효과의 본질적인 이유는 철저히 조사되지 않았습니다.