Recent breakthroughs in large language models have revolutionized the whole field of artificial intelligence and potentially radiate across the entire human society. Our vision for large language models is to make them the next generation computational platform and empower the whole community with significantly amplified intelligence. As a step towards this mission, we present the Yi model series, 6B and 34B language models pretrained from scratch on 3.1T highly-engineered large amount of data, and finetuned on a small but meticulously polished alignment data. Due to the data quality resulting from our substantial engineering efforts, which we will detail in the upcoming sections, Yi achieves near GPT-3.5 benchmark scores and human preferences.
최근 Large Language Models의 획기적인 발전은 인공지능 분야 전체에 혁명을 일으켰으며 잠재적으로 인간 사회 전반에 걸쳐 영향을 미칠 수 있습니다. Large Language Models에 대한 우리의 비전은 차세대 컴퓨팅 플랫폼으로서 커뮤니티 전체가 훨씬 더 강화된 지능을 갖출 수 있도록 하는 것입니다. 이러한 사명을 향한 한 걸음으로, 3.1T의 대량의 고도로 엔지니어링된 데이터에서 처음부터 사전 학습된 6B 및 34B 언어 모델인 Yi 모델 시리즈를 소개하고, 소규모이지만 세심하게 다듬어진 alignment 데이터에 대해 Fine-tuning했습니다. 다음 섹션에서 자세히 설명할 데이터 품질은 상당한 엔지니어링 노력의 결과이며, Yi는 GPT-3.5 benchmark 점수와 인간의 선호도에 근접한 성능을 달성했습니다.
최근 대규모 언어 모델의 획기적인 발전은 인공 지능 분야 전체에 혁명을 일으켰으며 잠재적으로 인간 사회 전반에 걸쳐 영향을 미칠 수 있습니다. 대규모 언어 모델에 대한 우리의 비전은 차세대 컴퓨팅 플랫폼으로서 커뮤니티 전체가 훨씬 더 강화된 지능을 갖출 수 있도록 하는 것입니다. 이러한 사명을 향한 한 걸음으로, 3.1T의 대량의 고도로 엔지니어링된 데이터에서 처음부터 사전 학습된 6B 및 34B 언어 모델인 Yi 모델 시리즈를 소개하고, 소규모이지만 세심하게 다듬어진 정렬 데이터에 대해 미세 조정했습니다. 다음 섹션에서 자세히 설명할 데이터 품질은 상당한 엔지니어링 노력의 결과이며, Yi는 GPT-3.5 벤치마크 점수와 인간의 선호도에 근접한 성능을 달성했습니다.