license: apache-2.0
基于GPT2+BERT的语言模型,以少量的纯中文语料从头训练,验证小模型在ChatGPT类似友好能力
GPT2+BERTokenizer从头训练模型(50W闲聊等语料)
环境: WIN10+Torch1.31+Cuda11.6 transformer4.29
开源代码:https://github.com/StarRing2022/MiLu-GPT/