**ERNIE 3.0:** In [81], Sun et al. proposed a unified framework named ERNIE 3.0 for pre-training large-scale knowledge enhanced models. It fuses auto-regressive network and auto-encoding network, so that the trained model can be easily tailored for both natural language understanding and generation tasks using zero-shot learning, few-shot learning or fine-tuning. They have trained ERNIE 3.0 with 10 billion parameters on a 4TB corpus consisting of plain texts and a large-scale knowledge graph. Fig 17 illustrates the model architecture of Ernie 3.0.
**ERNIE 3.0:** Sun 등은 [81]에서 대규모 지식 강화 모델을 사전 학습하기 위한 통합 프레임워크인 ERNIE 3.0을 제안했습니다. 자동 회귀 네트워크와 자동 인코딩 네트워크를 융합하여 학습된 모델을 zero-shot learning, few-shot learning 또는 Fine-tuning을 사용하여 자연어 이해 및 생성 작업 모두에 쉽게 맞춤화할 수 있습니다. 그들은 일반 텍스트와 대규모 지식 그래프로 구성된 4TB 코퍼스에서 100억 개의 파라미터로 ERNIE 3.0을 학습시켰습니다. 그림 17은 ERNIE 3.0의 모델 아키텍처를 보여줍니다.
**ER 3.0:** Sun 등은 [81]에서 대규모 지식 강화 모델을 사전 학습하기 위한 통합 프레임워크인 ERNIE 3.0을 제안했습니다. 자동 회귀 네트워크와 자동 인코딩 네트워크를 융합하여 학습된 모델을 제로 샷 학습, 소수 샷 학습 또는 미세 조정을 사용하여 자연어 이해 및 생성 작업 모두에 쉽게 맞춤화할 수 있습니다. 그들은 일반 텍스트와 대규모 지식 그래프로 구성된 4TB 코퍼스에서 100억 개의 파라미터로 ERNIE 3.0을 학습시켰습니다. 그림 17은 Ernie 3.0의 모델 아키텍처를 보여줍니다.