While generic models Touvron et al. (2023); Taylor et al. (2022); Zhang et al. (2022); Gu and Dao (2023); Almazrouei et al. (2023); Zhang et al. (2024); Faysse et al. (2024) gain some exposure to legal data during their training, it typically only represents a minor fraction of the overall data. A straightforward method to enhance performance for legal tasks is to perform additional training focusing on legal data. This approach, particularly focused on decoder models, has been successfully used in various fields such as medicine Chen et al. (2023); Ji et al. (2023), translation Xu et al. (2023); Wu et al. (2024), and coding Roziere et al. (2023). The key advantage of this approach is its scalability and independence from the specific characteristics of the training data. Other research on domain adaptation has attempted to specialize language models via pretext tasks. However, these efforts often rely on smaller-scale approaches Niklaus and Giofre (2023), are computationally expensive Vu et al. (2020); Lu et al. (2023), or lack scalability Cheng et al. (2023); Cui et al. (2023); Nishida et al. (2019).
일반적인 모델 Touvron et al. (2023); Taylor et al. (2022); Zhang et al. (2022); Gu and Dao (2023); Almazrouei et al. (2023); Zhang et al. (2024); Faysse et al. (2024)은 학습 과정에서 법률 데이터에 어느 정도 노출되지만, 일반적으로 전체 데이터에서 차지하는 비중은 미미합니다. 법률 작업의 성능을 향상시키는 간단한 방법은 법률 데이터에 초점을 맞춘 추가 학습을 수행하는 것입니다. 이 접근 방식은 특히 Decoder 모델에 초점을 맞춘 접근 방식으로 의료 분야 Chen et al. (2023); Ji et al. (2023), 번역 Xu et al. (2023); Wu et al. (2024), 코딩 Roziere et al. (2023) 등 다양한 분야에서 성공적으로 사용되었습니다. 이 접근 방식의 주요 장점은 학습 데이터의 특정 특성과 무관하게 확장성이 뛰어나다는 것입니다. 도메인 적응에 대한 다른 연구에서는 pretext tasks를 통해 언어 모델을 전문화하려고 시도했습니다. 그러나 이러한 노력은 종종 소규모 접근 방식 Niklaus and Giofre (2023)에 의존하거나 계산 비용이 많이 든 Vu et al. (2020); Lu et al. (2023) 또는 확장성이 부족한 Cheng et al. (2023); Cui et al. (2023); Nishida et al. (2019).
일반적인 모델 Touvron et al. (2023); Taylor et al. (2022); Zhang et al. (2022); Gu and Dao (2023); Almazrouei et al. (2023); Zhang et al. (2024); Faysse et al. (2024)은 학습 과정에서 법률 데이터에 어느 정도 노출되지만, 일반적으로 전체 데이터에서 차지하는 비중은 미미합니다. 법률 작업의 성능을 향상시키는 간단한 방법은 법률 데이터에 초점을 맞춘 추가 학습을 수행하는 것입니다. 이 접근 방식은 특히 디코더 모델에 초점을 맞춘 접근 방식으로 의료 분야 Chen et al. (2023); Ji et al. (2023), 번역 Xu et al. (2023); Wu et al. (2024), 코딩 Roziere et al. (2023) 등 다양한 분야에서 성공적으로 사용되었습니다. 이 접근 방식의 주요 장점은 학습 데이터의 특정 특성과 무관하게 확장성이 뛰어나다는 것입니다. 도메인 적응에 대한 다른 연구에서는 전제 작업을 통해 언어 모델을 전문화하려고 시도했습니다. 그러나 이러한 노력은 종종 소규모 접근 방식 Niklaus and Giofre (2023)에 의존하거나 계산 비용이 많이 든 Vu et al. (2020); Lu et al. (2023) 또는 확장성이 부족한 Cheng et al. (2023); Cui et al. (2023); Nishida et al. (2019).