Christopher Clark, Kenton Lee, Ming-Wei Chang, Tom Kwiatkowski, Michael Collins, and Kristina Toutanova. Boolq: Exploring the surprising difficulty of natural yes/no questions, 2019. * Clark et al. (2018) Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick, and Oyvind Tafjord. Think you have solved question answering? try arc, the ai2 reasoning challenge, 2018. * Cobbe et al. (2021) Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, and John Schulman. Training verifiers to solve math word problems, 2021. * Computer (2023) Together Computer. Redpajama: an open dataset for training large language models, 2023. URL [https://github.com/togethercomputer/RedPajama-Data](https://github.com/togethercomputer/RedPajama-Data). * OpenCompass Contributors (2023) OpenCompass Contributors. Opencompass: A universal evaluation platform for foundation models. [https://github.com/open-compass/opencompass](https://github.com/open-compass/opencompass), 2023. * DeepSeek-Al et al. (2024) DeepSeek-Al, ; Xiao Bi, Deli Chen, Guanting Chen, Shanhuang Chen, Damai Dai, Chengqi Deng, Honghui Ding, Kai Dong, Qiushi Du, Zhe Fu, Huazuo Gao, Kaige Gao, Wenjun Gao, Ruqi Ge, Kang Guan, Daya Guo, Jianzhong Guo, Guangbo Hao, Zhewen Hao, Ying He, Wenjie Hu, Panpan Huang, Erlangen Li, Guowei Li, Jiashi Li, Yao Li, Y. K. Li, Wenteng Liang, Fangyun Lin, A. X. Liu, Bo Liu, Wen Liu, Xiaodong Liu, Xin Liu, Yiyuan Liu, Haoyu Lu, Shanghao Lu, Fuli Luo, Shirong Ma, Xiaotao Nie, Tian Pei, Yishi Piao, Junjie Qiu, Hui Qu, Tongzheng Ren, Zehui Ren, Chong Ruan, Zhangli Sha, Zhihong Shao, Junxiao Song, Xuecheng Su, Jingxiang Sun, Yaofeng Sun, Minghui Tang, Bingxuan Wang, Peiyi Wang, Shiyu Wang, Yaohui Wang, Yongji Wang, Tong Wu, Y. Wu, Xin Xie, Zhenda Xie, Ziwei Xie, Yiliang Xiong, Hanwei Xu, R. X. Xu, Yanhong Xu, Dejian Yang, Yuxiang You, Shuiping Yu, Xingkai Yu, B. Zhang, Haowei Zhang, Lecong Zhang, Liyue Zhang, Mingchuan Zhang, Minghua Zhang, Wentao Zhang, Yichao Zhang, Chenggang Zhao, Yao Zhao, Shangyan Zhou, Shunfeng Zhou, Qiaho Zhu, and Yuheng Zou. Deepseek llm: Scaling open-source language models with longtermism, 2024. * Geng and Liu (2023) Xinyang Geng and Hao Liu. Openllama: An open reproduction of lama, May 2023. URL [https://github.com/openlm-research/open_llama](https://github.com/openlm-research/open_llama). * Hendrycks et al. (2021) Dan Hendrycks, Collin Burns, Saurav Kadavath, Akul Arora, Steven Basart, Eric Tang, Dawn Song, and Jacob Steinhardt. Measuring mathematical problem solving with the math dataset, 2021. * Henighan et al. (2020) Tom Henighan, Jared Kaplan, Mor Katz, Mark Chen, Christopher Hesse, Jacob Jackson, Heewoo Jun, Tom B Brown, Prafulla Dhariwal, Scott Gray, et al. Scaling laws for autoregressive generative modeling. _arXiv preprint arXiv:2010.14701_, 2020. * Hernandez et al. (2021) Danny Hernandez, Jared Kaplan, Tom Henighan, and Sam McCandlish. Scaling laws for transfer, 2021. * Hoffmann et al. (2022) Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. _arXiv preprint arXiv:2203.15556_, 2022. * Huang et al. (2023) Yuzhen Huang, Yuzhuo Bai, Zhihao Zhu, Junlei Zhang, Jinghan Zhang, Tangjun Su, Junteng Liu, Chuancheng Lv, Yikai Zhang, Jiayi Lei, Yao Fu, Maosong Sun, and Junxian He. C-eval: A multi-level multi-discipline chinese evaluation suite for foundation models. In _Advances in Neural Information Processing Systems_, 2023. * Joshi et al. (2017) Mandar Joshi, Eunsol Choi, Daniel S. Weld, and Luke Zettlemoyer. Triviaqa: A large scale distantly supervised challenge dataset for reading comprehension, 2017. * Kaplan et al. (2020) Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models, 2020.
크리스토퍼 클라크, 켄튼 리, 밍위 창, 톰 퀴아트코스키, 마이클 콜린스, 크리스티나 투토노바. Boolq: 자연스러운 예/아니요 질문의 놀라운 어려움 탐구, 2019. * Clark 등(2018) 피터 클라크, 아이작 코우헤이, 오렌 에치오니, 투샤르 콧, 아시쉬 사바르왈, 카리사 쇤닉, 오이빈드 타프조드. 질문에 대한 해답을 찾았다고 생각하시나요? AI2 reasoning 챌린지인 Arc를 시도해 보세요, 2018. * Cobbe 등(2021) Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, John Schulman. 수학 워드 문제를 푸는 검증기 훈련, 2021. * 컴퓨터(2023) 함께 컴퓨터. Redpajama: 대규모 언어 모델 훈련을 위한 오픈 데이터 세트, 2023. URL [https://github.com/togethercomputer/RedPajama-Data](https://github.com/togethercomputer/RedPajama-Data). * OpenCompass 기여자(2023) OpenCompass 기여자. Opencompass: 파운데이션 모델을 위한 범용 평가 플랫폼. [https://github.com/open-compass/opencompass](https://github.com/open-compass/opencompass), 2023. * DeepSeek-Al 등(2024) DeepSeek-Al, ; 샤오 비, 델리 첸, 과팅 첸, 샨후앙 첸, 다마이 다이, 첸치 뎅, 홍후이 딩, 카이 동, 추이시 두, 제후 파, 화즈오 가오, 카이게 가오, 웬준 가오, 루치 게, 강 관, 다야 구오, 지안중 구오, 광보 하오, 제웬 하오, 잉허, 웬지 후, 판판 황, 얼랑 리, 구오웨이 리, 자시 리, 야오 리, Y. K. 리, 웬텟 리앙, 팡윤 린, A. X. Liu, Bo Liu, Wen Liu, Xiaodong Liu, Xin Liu, Yiyuan Liu, Haoyu Lu, Shanghao Lu, Fuli Luo, Shirong Ma, Xiaotao Nie, Tian Pei, Yishi Piao, Junjie Qiu, Hui Qu, Tongzheng Ren, Zehui Ren, Chong Ruan, Zhangli Sha, Zhihong Shao, Junxiao Song, Xuecheng Su, Jingxiang Sun, Yaofeng Sun, Minghui Tang, Bingxuan Wang, Peiyi Wang, Shiyu Wang, Yaohui Wang, Yongji Wang, Tong Wu, Y. Wu, Xin Xie, Zhenda Xie, Ziwei Xie, Yiliang Xiong, Hanwei Xu, R. X. Xu, Yanhong Xu, Dejian Yang, Yuxiang You, Shuiping Yu, Xingkai Yu, B. Zhang, Haowei Zhang, Lecong Zhang, Liyue Zhang, Mingchuan Zhang, Minghua Zhang, Wentao Zhang, Yichao Zhang, Chenggang Zhao, Yao Zhao, Shangyan Zhou, Shunfeng Zhou, Qiaho Zhu, Yuheng Zou. Deepseek LLM: 장기주의를 통한 오픈 소스 언어 모델 확장, 2024. * 겅과 리우(2023) 신양 겅, 하오 리우. Openllama: 라마의 오픈 리프로덕션, 2023년 5월. URL [https://github.com/openlm-research/open_llama](https://github.com/openlm-research/open_llama). * 헨드릭스 등(2021) 댄 헨드릭스, 콜린 번스, 사우라브 카다바트, 아쿨 아로라, 스티븐 바사트, 에릭 탕, 던 송, 제이콥 스타인하르트. 수학 데이터 세트로 수학 문제 해결 측정, 2021. * Henighan 등(2020) Tom Henighan, Jared Kaplan, Mor Katz, Mark Chen, Christopher Hesse, Jacob Jackson, Heewoo Jun, Tom B Brown, Prafulla Dhariwal, Scott Gray, et al. 자동 회귀 생성 모델링의 scaling laws. _arXiv preprint arXiv:2010.14701_, 2020. * Hernandez 등(2021) Danny Hernandez, Jared Kaplan, Tom Henighan, Sam McCandlish. 전이를 위한 scaling laws, 2021. * 호프만 등(2022) 조던 호프만, 세바스찬 보르게오드, 아서 멘쉬, 엘레나 부하츠카야, 트레버 카이, 엘리자 루더퍼드, 디에고 드 라스 카사스, 리사 앤 헨드릭스, 요하네스 웰블, 에이다 클라크, et al. 컴퓨팅 최적의 대규모 언어 모델 훈련. _arXiv preprint arXiv:2203.15556_, 2022. * Huang 등(2023) Yuzhen Huang, Yuzhuo Bai, Zhihao Zhu, Junlei Zhang, Jinghan Zhang, Tangjun Su, Junteng Liu, Chuancheng Lv, Yikai Zhang, Jiayi Lei, Yao Fu, Maosong Sun, Junxian He. C-eval: 파운데이션 모델을 위한 다단계 다학제 중국 평가 제품군. _신경 정보 처리 시스템의 발전_, 2023. * Joshi 등(2017) Mandar Joshi, Eunsol Choi, Daniel S. Weld, Luke Zettlemoyer. Triviaqa: 독해력을 위한 원거리로 멀리 떨어진 챌린지 데이터 세트, 2017. * Kaplan 등(2020) Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, Dario Amodei. 신경 언어 모델에 대한 scaling laws, 2020.
크리스토퍼 클라크, 켄튼 리, 밍위 창, 톰 퀴아트코스키, 마이클 콜린스, 크리스티나 투토노바. Boolq: 자연스러운 예/아니요 질문의 놀라운 어려움 탐구, 2019. * Clark 등(2018) 피터 클라크, 아이작 코우헤이, 오렌 에치오니, 투샤르 콧, 아시쉬 사바르왈, 카리사 쇤닉, 오이빈드 타프조드. 질문에 대한 해답을 찾았다고 생각하시나요? AI2 추론 챌린지인 Arc를 시도해 보세요, 2018. * Cobbe 등(2021) Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, John Schulman. 수학 워드 문제를 푸는 검증기 훈련, 2021. * 컴퓨터(2023) 함께 컴퓨터. Redpajama: 대규모 언어 모델 훈련을 위한 오픈 데이터 세트, 2023. URL [https://github.com/togethercomputer/RedPajama-Data](https://github.com/togethercomputer/RedPajama-Data). * OpenCompass 기여자(2023) OpenCompass 기여자. Opencompass: 파운데이션 모델을 위한 범용 평가 플랫폼. [https://github.com/open-compass/opencompass](https://github.com/open-compass/opencompass), 2023. * DeepSeek-Al 등(2024) DeepSeek-Al, ; 샤오 비, 델리 첸, 과팅 첸, 샨후앙 첸, 다마이 다이, 첸치 뎅, 홍후이 딩, 카이 동, 추이시 두, 제후 파, 화즈오 가오, 카이게 가오, 웬준 가오, 루치 게, 강 관, 다야 구오, 지안중 구오, 광보 하오, 제웬 하오, 잉허, 웬지 후, 판판 황, 얼랑 리, 구오웨이 리, 자시 리, 야오 리, Y. K. 리, 웬텟 리앙, 팡윤 린, A. X. Liu, Bo Liu, Wen Liu, Xiaodong Liu, Xin Liu, Yiyuan Liu, Haoyu Lu, Shanghao Lu, Fuli Luo, Shirong Ma, Xiaotao Nie, Tian Pei, Yishi Piao, Junjie Qiu, Hui Qu, Tongzheng Ren, Zehui Ren, Chong Ruan, Zhangli Sha, Zhihong Shao, Junxiao Song, Xuecheng Su, Jingxiang Sun, Yaofeng Sun, Minghui Tang, Bingxuan Wang, Peiyi Wang, Shiyu Wang, Yaohui Wang, Yongji Wang, Tong Wu, Y. Wu, Xin Xie, Zhenda Xie, Ziwei Xie, Yiliang Xiong, Hanwei Xu, R. X. Xu, Yanhong Xu, Dejian Yang, Yuxiang You, Shuiping Yu, Xingkai Yu, B. Zhang, Haowei Zhang, Lecong Zhang, Liyue Zhang, Mingchuan Zhang, Minghua Zhang, Wentao Zhang, Yichao Zhang, Chenggang Zhao, Yao Zhao, Shangyan Zhou, Shunfeng Zhou, Qiaho Zhu, Yuheng Zou. Deepseek LLM: 장기주의를 통한 오픈 소스 언어 모델 확장, 2024. * 겅과 리우(2023) 신양 겅, 하오 리우. Openllama: 라마의 오픈 리프로덕션, 2023년 5월. URL [https://github.com/openlm-research/open_llama](https://github.com/openlm-research/open_llama). * 헨드릭스 등(2021) 댄 헨드릭스, 콜린 번스, 사우라브 카다바트, 아쿨 아로라, 스티븐 바사트, 에릭 탕, 던 송, 제이콥 스타인하르트. 수학 데이터 세트로 수학 문제 해결 측정, 2021. * Henighan 등(2020) Tom Henighan, Jared Kaplan, Mor Katz, Mark Chen, Christopher Hesse, Jacob Jackson, Heewoo Jun, Tom B Brown, Prafulla Dhariwal, Scott Gray, et al. 자동 회귀 생성 모델링의 스케일링 법칙. _arXiv preprint arXiv:2010.14701_, 2020. * Hernandez 등(2021) Danny Hernandez, Jared Kaplan, Tom Henighan, Sam McCandlish. 전이를 위한 스케일링 법칙, 2021. * 호프만 등(2022) 조던 호프만, 세바스찬 보르게오드, 아서 멘쉬, 엘레나 부하츠카야, 트레버 카이, 엘리자 루더퍼드, 디에고 드 라스 카사스, 리사 앤 헨드릭스, 요하네스 웰블, 에이다 클라크, et al. 컴퓨팅 최적의 대규모 언어 모델 훈련. _arXiv preprint arXiv:2203.15556_, 2022. * Huang 등(2023) Yuzhen Huang, Yuzhuo Bai, Zhihao Zhu, Junlei Zhang, Jinghan Zhang, Tangjun Su, Junteng Liu, Chuancheng Lv, Yikai Zhang, Jiayi Lei, Yao Fu, Maosong Sun, Junxian He. C-eval: 파운데이션 모델을 위한 다단계 다학제 중국 평가 제품군. _신경 정보 처리 시스템의 발전_, 2023. * Joshi 등(2017) Mandar Joshi, Eunsol Choi, Daniel S. Weld, Luke Zettlemoyer. Triviaqa: 독해력을 위한 원거리로 멀리 떨어진 챌린지 데이터 세트, 2017. * Kaplan 등(2020) Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, Dario Amodei. 신경 언어 모델에 대한 스케일링 법칙, 2020.