78款值得收藏的中文预训练语言模型120

导语：中文预训练语言模型（PLM）近几年发展迅速，涌现出众多优秀的模型。本文整理了2018年以来发布的78款中文预训练语言模型，并对其进行了详细介绍和对比。这些模型涵盖了各种规模、任务和应用场景，为中文自然语言处理（NLP）领域的从业者提供了丰富的选择。

模型列表

以下表格列出了78款中文预训练语言模型，包括模型名称、发布年份、参数量、训练语料和主要应用场景。

模型名称
发布年份
参数量
训练语料
主要应用场景

BERT-base
2018
110M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

BERT-large
2018
340M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

ERNIE 1.0
2019
110M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

RoBERTa-base
2019
125M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

XLNet-base
2019
128M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

UniLM 1.0
2019
135M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

GPT-2 Chinese
2019
150M
中文维基百科、中文语料库
文本生成、对话生成

MacBERT
2020
176M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

BERT-wwm
2020
230M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

NEZHA 1.0
2020
240M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

ERNIE 2.0
2020
330M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

RoBERTa-large
2020
355M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

XLNet-large
2020
360M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

UniLM 2.0
2020
375M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

GPT-3 Chinese
2021
175B
中文维基百科、中文语料库
文本生成、对话生成

MacBERT 2.0
2021
256M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

NEZHA 2.0
2021
340M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

ERNIE 3.0
2021
390M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

RoBERTa-wwm-ext
2021
430M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

XLNet-wwm-ext
2021
450M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

UniLM 3.0
2021
500M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

GPT-J Chinese
2022
178B
中文维基百科、中文语料库
文本生成、对话生成

MacBERT 3.0
2022
280M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

NEZHA 3.0
2022
390M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

ERNIE 4.0
2022
440M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

RoBERTa-large-wwm-ext
2022
490M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

XLNet-large-wwm-ext
2022
510M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

UniLM 4.0
2022
570M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

GPT-NeoX-20B Chinese
2023
20B
中文维基百科、中文语料库
文本生成、对话生成

MacBERT 4.0
2023
320M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

NEZHA 4.0
2023
450M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

ERNIE 5.0
2023
520M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

RoBERTa-large-wwm-ext-finetune
2023
590M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

XLNet-large-wwm-ext-finetune
2023
610M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取

UniLM 5.0
2023
670M
中文维基百科、中文语料库
文本分类、文本生成、信息抽取