预训练属于迁移学习的范畴。现有的神经网络在进行训练时，一般基于后向传播（Back Propagation，BP）算法，先对网络中的参数进行随机初始化，再利用随机梯度下降（Stochastic Gradient Descent，SGD）等优化算法不断优化模型参数。而预训练的思想是，模型参数不再是随机初始化的，而是通过一些任务进行预先训练，得到一套模型参数，然后用这套参数对模型进行初始化，再进行训练。在正式探讨自然语言处理的预训练之前，回顾一下计算机视觉领域的预训练过程。在图片分类任务中，常用的深度学习模型是卷积神经网络（Convolutional Neural Network，CNN）。对于由多个层级结构组成的CNN来说，不同层学到的图像特征是不一样的，越浅的层学到的特征越通用，越深的层学到的特征和具体任务的关联性越强。在图1中[6]，对基于人脸（Faces）、汽车（Cars）、大象（Elephants）和椅子（Chairs）的任务而言，最浅层的通用特征“线条”都是一样的。因此，在大规模图片数据上预先获取“通用特征”，会对下游任务有非常大的帮助。
再举个简单的例子，假设一个《怪物猎人：世界》的游戏玩家想给游戏中的怪物（如飞雷龙、浮空龙、风漂龙、骨锤龙等）做一个多分类系统，而有标注的数据只有游戏中的若干图片，重新训练一个神经网络模型显然不太可能。

幸运的是，现有的大规模图片数据库ImageNet 中一共有20000多类标注好的数据集，包含超过1400 万张图片。

通过ImageNet 训练出来的CNN 网络参数，可以迁移至怪物猎人的训练任务中。

在比较浅层的CNN网络初始化时，可以使用已经训练好的参数，而在模型的高层，其参数可以随机初始化。在训练怪物猎人的特定任务时，既可以采用冻结（Frozen）参数的方式，也就是浅层参数一直保持不变；也可以采用微调的方式，也就是浅层参数仍然随着任务的训练不断发生改变，从而更加适应怪物的分类。

将图片转换为计算机可以处理的表示形式（如像素点的RGB 值），就可以输入至神经网络进行后续处理。

对自然语言来说，如何进行表示是首先要考虑的问题。
การฝึกอบรมก่อนการฝึกอบรมจัดอยู่ในหมวดหมู่ของการเรียนรู้แบบถ่ายโอน เมื่อฝึกโครงข่ายประสาทเทียมที่มีอยู่ โดยทั่วไปโครงข่ายจะขึ้นอยู่กับอัลกอริธึม Back Propagation (BP) ซึ่งจะเริ่มต้นพารามิเตอร์ในเครือข่ายแบบสุ่มก่อน จากนั้นจึงปรับให้เหมาะสมอย่างต่อเนื่องโดยใช้อัลกอริธึมการปรับให้เหมาะสม เช่น พารามิเตอร์โมเดล Stochastic Gradient Descent (SGD) แนวคิดของการฝึกล่วงหน้าคือพารามิเตอร์โมเดลจะไม่เริ่มต้นแบบสุ่มอีกต่อไป แต่จะได้รับการฝึกอบรมล่วงหน้าผ่านงานบางอย่างเพื่อรับชุดพารามิเตอร์โมเดล จากนั้นใช้ชุดพารามิเตอร์นี้เพื่อเริ่มต้นโมเดลก่อนการฝึก ก่อนที่จะพูดคุยอย่างเป็นทางการเกี่ยวกับการเตรียมการฝึกอบรมสำหรับการประมวลผลภาษาธรรมชาติ เรามาทบทวนกระบวนการก่อนการฝึกอบรมในด้านคอมพิวเตอร์วิทัศน์กันก่อน ในงานจำแนกภาพ โมเดลการเรียนรู้เชิงลึกที่ใช้กันทั่วไปคือ Convolutional Neural Network (CNN) สำหรับ CNN ที่ประกอบด้วยโครงสร้างหลายลำดับชั้น คุณลักษณะของภาพที่เรียนรู้จากเลเยอร์ต่างๆ จะแตกต่างกัน คุณลักษณะที่เรียนรู้จากเลเยอร์ที่ตื้นกว่านั้นมีความทั่วไปมากกว่า และฟีเจอร์ที่เรียนรู้จากเลเยอร์ที่ลึกกว่าจะเกี่ยวข้องกับงานเฉพาะมากกว่า ในรูปที่ 1 [6] สำหรับงานตามใบหน้า รถยนต์ ช้าง และเก้าอี้ คุณลักษณะ "เส้น" ทั่วไปที่ตื้นที่สุดจะเหมือนกัน ดังนั้นการได้รับ "คุณสมบัติสากล" ล่วงหน้าจากข้อมูลภาพขนาดใหญ่จะมีประโยชน์มากสำหรับงานดาวน์สตรีม เพื่อยกตัวอย่างง่ายๆ อีกตัวอย่างหนึ่ง สมมติว่าผู้เล่น "Monster Hunter: World" ต้องการสร้างระบบการจำแนกหลายระดับสำหรับสัตว์ประหลาดในเกม (เช่น มังกรฟ้าร้องบิน มังกรลอยน้ำ มังกรลอยลม มังกรค้อนกระดูก ฯลฯ .) และข้อมูลที่ติดป้ายกำกับเพียงอย่างเดียวคือรูปภาพไม่กี่ภาพในเกม ดังนั้นจึงเป็นไปไม่ได้เลยที่จะฝึกโมเดลโครงข่ายประสาทเทียมใหม่ โชคดีที่ ImageNet ฐานข้อมูลภาพขนาดใหญ่ที่มีอยู่มีชุดข้อมูลที่มีคำอธิบายประกอบมากกว่า 20,000 หมวดหมู่ รวมถึงรูปภาพมากกว่า 14 ล้านภาพ พารามิเตอร์เครือข่าย CNN ที่ได้รับการฝึกอบรมผ่าน ImageNet สามารถถ่ายโอนไปยังงานการฝึกอบรม Monster Hunter ได้ เมื่อเริ่มต้นเครือข่าย CNN ที่ค่อนข้างตื้น คุณสามารถใช้พารามิเตอร์ที่ได้รับการฝึกอบรมแล้วได้ ในขณะที่ในระดับที่สูงกว่าของโมเดล พารามิเตอร์สามารถเริ่มต้นแบบสุ่มได้ เมื่อฝึกฝนงานเฉพาะของ Monster Hunter คุณสามารถใช้วิธีแช่แข็งพารามิเตอร์นั่นคือพารามิเตอร์ตื้นยังคงไม่เปลี่ยนแปลง คุณยังสามารถใช้วิธีการปรับแต่งแบบละเอียดได้นั่นคือพารามิเตอร์ตื้นยังคงเปลี่ยนแปลงต่อไปตาม ฝึกฝนภารกิจ เปลี่ยนให้เหมาะสมกับการจัดหมวดหมู่มอนสเตอร์มากขึ้น แปลงรูปภาพเป็นรูปแบบที่คอมพิวเตอร์สามารถประมวลผลได้ (เช่น ค่า RGB ของพิกเซล) จากนั้นป้อนข้อมูลลงในโครงข่ายประสาทเทียมสำหรับการประมวลผลในภายหลัง สำหรับภาษาธรรมชาติ วิธีการนำเสนอเป็นประเด็นแรกที่ต้องพิจารณา
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence