* **Baichuan-7B**: The Baichuan2-7B is an advanced large language model developed by the Baichuan AI team. This model is an enhanced version of the previous Baichuan models, featuring 7 billion parameters and optimized for improved performance in various natural language processing tasks. Baichuan2-7B is designed to handle complex language understanding and generation tasks with greater accuracy and efficiency, building upon the foundation of its predecessor while incorporating new architectural improvements and training techniques. * **Deepseek 7B & 76B**: The Deepseek series are focused on language understanding and generation tasks. These models feature a self-regressive Transformer decoder architecture and leverage technologies such as multi-head attention (MHA) and grouped query attention (GQA) to enhance performance and efficiency. **Deepseek-7B** offers a 70 billion parameter model, designed to cater to a variety of application scenarios and performance requirements. **Deepseek-67B** is a more potent version within the series, with an impressive 670 billion parameters. * **Amber-7B**: Amber-7B represents a pioneering open-source model characterized by complete data transparency. It stands out as the first model to open-source all its training data and code, ensuring bitwise reproducibility. This initiative aims to foster collaboration among researchers by providing a fully transparent framework for model development and replication. * **OpenLLaMA-7B** : The OpenLLaMA-7B model (Geng & Liu, 2023) exemplifies an open-source effort to replicate the Llama2-7B architecture, mirroring its exact structure while utilizing open-source datasets for training. To replicate the intermediate checkpoints of this model, we employed the Megatron-LM framework in conjunction with the Redpajama dataset (Computer, 2023), applying Falcon data filtering strategies to curate a training corpus of 1 trillion tokens. This approach underscores our commitment to transparency and accessibility in the development of large-scale language models. * **Yi-34B**: The Yi-34B model, introduced by 01.AI, is a part of the Yi model family that demonstrates strong multi-dimensional capabilities. Based on 6B and 34B pretrained language models, Yi-34B extends to chat models, long context models, depth-upscaled models, and vision-language models. The base models achieve strong performance on benchmarks like MMLU, and the finetuned chat models deliver strong human preference rates on platforms like AlpacaEval and Chatbot Arena. With a focus on data quality and engineering efforts, Yi-34B is designed to be a next-generation computational platform, offering capabilities close to GPT-3.5.
* **Baichuan-7B**: Baichuan2-7B는 Baichuan AI 팀이 개발한 고급 대형 언어 모델입니다. 이 모델은 이전 Baichuan 모델의 향상된 버전으로, 70억 개의 매개변수를 특징으로 하며 다양한 자연어 처리 작업에서 성능을 향상시키도록 최적화되었습니다. Baichuan2-7B는 이전 모델의 기반 위에 새로운 아키텍처 개선 및 훈련 기법을 통합하여 더 높은 정확도와 효율성으로 복잡한 언어 이해 및 생성 작업을 처리하도록 설계되었습니다.
* **Deepseek 7B & 76B**: Deepseek 시리즈는 언어 이해 및 생성 작업에 중점을 둡니다. 이 모델들은 자기 회귀 Transformer 디코더 아키텍처를 특징으로 하며, 성능과 효율성을 향상시키기 위해 다중 헤드 주의(MHA) 및 그룹화된 쿼리 주의(GQA)와 같은 기술을 활용합니다. **Deepseek-7B**는 다양한 응용 시나리오와 성능 요구를 충족시키기 위해 설계된 70억 매개변수 모델을 제공합니다. **Deepseek-67B**는 시리즈 내에서 더 강력한 버전으로, 670억 개의 매개변수를 자랑합니다.
* **Amber-7B**: Amber-7B는 완전한 데이터 투명성을 특징으로 하는 선구적인 오픈 소스 모델입니다. 이 모델은 모든 훈련 데이터와 코드를 오픈 소스화하여 비트 단위 재현성을 보장하는 첫 번째 모델로 두드러집니다. 이 이니셔티브는 연구자들 간의 협력을 촉진하기 위해 완전히 투명한 프레임워크를 제공하는 것을 목표로 합니다.
* **OpenLLaMA-7B**: OpenLLaMA-7B 모델(Geng & Liu, 2023)은 Llama2-7B 아키텍처를 복제하려는 오픈 소스 노력을 보여줍니다. 이 모델은 오픈 소스 데이터셋을 사용하여 훈련되었으며, Megatron-LM 프레임워크와 Redpajama 데이터셋(Computer, 2023)을 결합하여 중간 체크포인트를 복제했습니다. Falcon 데이터 필터링 전략을 적용하여 1조 개의 토큰으로 구성된 훈련 코퍼스를 큐레이션했습니다. 이 접근 방식은 대규모 언어 모델 개발에서 투명성과 접근성을 강조합니다.
* **Yi-34B**: Yi-34B 모델은 01.AI가 소개한 Yi 모델 패밀리의 일부로, 강력한 다차원 기능을 보여줍니다. 6B 및 34B 사전 훈련된 언어 모델을 기반으로 하여, Yi-34B는 채팅 모델, 긴 문맥 모델, 깊이 업스케일된 모델 및 비전-언어 모델로 확장됩니다. 기본 모델은 MMLU와 같은 벤치마크에서 강력한 성능을 발휘하며, 미세 조정된 채팅 모델은 AlpacaEval 및 Chatbot Arena와 같은 플랫폼에서 높은 인간 선호도를 제공합니다. 데이터 품질과 엔지니어링 노력을 중시하여, Yi-34B는 GPT-3.5에 가까운 기능을 제공하는 차세대 컴퓨팅 플랫폼으로 설계되었습니다.
* **바이추안-7B**: 바이추안2-7B는 바이추안 AI 팀에서 개발한 고급 대형 언어 모델입니다. 이 모델은 70억 개의 파라미터를 특징으로 하며 다양한 자연어 처리 작업에서 향상된 성능을 위해 최적화된 이전 바이추안 모델의 향상된 버전입니다. 바이추안2-7B는 복잡한 언어 이해 및 생성 작업을 더욱 정확하고 효율적으로 처리하도록 설계되었으며, 이전 모델의 기반을 바탕으로 새로운 아키텍처 개선 및 훈련 기술을 통합했습니다. * **딥시크 7B & 76B**: 딥시크 시리즈는 언어 이해 및 생성 작업에 중점을 두고 있습니다. 이 모델은 자기 회귀 트랜스포머 디코더 아키텍처를 특징으로 하며 다중 헤드 주의(MHA) 및 그룹화된 쿼리 주의(GQA)와 같은 기술을 활용하여 성능과 효율성을 향상시킵니다. 딥시크-7B는 다양한 애플리케이션 시나리오와 성능 요구 사항을 충족하도록 설계된 700억 파라미터 모델을 제공합니다. 딥시크-67B는 이 시리즈 내에서 더 강력한 버전으로, 6,700억 개의 파라미터를 갖추고 있습니다. * **Amber-7B**: 앰버-7B는 완전한 데이터 투명성을 특징으로 하는 선구적인 오픈 소스 모델입니다. 모든 훈련 데이터와 코드를 오픈 소스로 공개한 최초의 모델로, 비트 단위 재현성을 보장합니다. 이 이니셔티브는 모델 개발 및 복제를 위한 완전히 투명한 프레임워크를 제공함으로써 연구자 간의 협업을 촉진하는 것을 목표로 합니다. * **OpenLLaMA-7B**: OpenLLaMA-7B 모델(Geng & Liu, 2023)은 Llama2-7B 아키텍처를 복제하기 위한 오픈 소스 노력의 한 예로, 정확한 구조를 반영하면서 훈련에 오픈 소스 데이터 세트를 활용했습니다. 이 모델의 중간 체크포인트를 복제하기 위해 Megatron-LM 프레임워크를 Redpajama 데이터 세트(Computer, 2023)와 함께 사용하여 팔콘 데이터 필터링 전략을 적용하여 1조 토큰의 훈련 코퍼스를 큐레이션했습니다. 이러한 접근 방식은 대규모 언어 모델 개발에 있어 투명성과 접근성에 대한 우리의 노력을 강조합니다. * **Yi-34B**: 01.AI에서 소개한 Yi-34B 모델은 강력한 다차원 기능을 보여주는 Yi 모델 제품군의 일부입니다. 6B 및 34B 사전 학습 언어 모델을 기반으로 하는 Yi-34B는 채팅 모델, 긴 문맥 모델, 깊이 업스케일 모델 및 비전 언어 모델로 확장됩니다. 기본 모델은 MMLU와 같은 벤치마크에서 강력한 성능을 발휘하며, 파인튜닝된 채팅 모델은 알파카이발 및 챗봇 아레나와 같은 플랫폼에서 강력한 선호도를 보입니다. 데이터 품질과 엔지니어링 노력에 중점을 둔 Yi-34B는 GPT-3.5에 근접한 기능을 제공하는 차세대 컴퓨팅 플랫폼으로 설계되었습니다.