More generally, one can envision adding domain names (e.g., wikipedia.org) to every piece of the pretraining data. This would significantly enhance the model's knowledge capacities, because Result 12 demonstrates that **language models can automatically detect which domains are rich in high-quality knowledge and prioritize learning from them**. We emphasize that the model does not need any prior knowledge to identify which domains contain high-quality knowledge; **this process is entirely autonomous**.
더 일반적으로, 사전 학습 데이터의 모든 부분에 도메인 이름(예: wikipedia.org)을 추가하는 것을 구상할 수 있습니다. 결과 12는 **language models가 어떤 도메인에 고품질 지식이 풍부한지 자동으로 감지하고 해당 도메인에서 학습의 우선순위를 정할 수 있음을 보여주기 때문에 이렇게 하면 모델의 지식 능력이 크게 향상될 것입니다. 이 모델은 어떤 도메인에 고품질 지식이 포함되어 있는지 식별하기 위해 사전 지식이 필요하지 않으며, **이 과정은 전적으로 자율적으로 이루어집니다**.
더 일반적으로, 사전 학습 데이터의 모든 부분에 도메인 이름(예: wikipedia.org)을 추가하는 것을 구상할 수 있습니다. 결과 12는 **언어 모델이 어떤 도메인에 고품질 지식이 풍부한지 자동으로 감지하고 해당 도메인에서 학습의 우선순위를 정할 수 있음을 보여주기 때문에 이렇게 하면 모델의 지식 능력이 크게 향상될 것입니다. 이 모델은 어떤 도메인에 고품질 지식이 포함되어 있는지 식별하기 위해 사전 지식이 필요하지 않으며, **이 과정은 전적으로 자율적으로 이루어집니다**.