“悟道”是中国的GPT-3? - syncedreview

21-03-28 banq

自2020年5月OpenAI的GPT-3发布以来,人工智能研究人员已经接受了超大规模的预训练模型。GPT-3包含了一个划时代的1,750亿个参数,在多种自然语言处理(NLP)任务中均表现出色。北京人工智能学院(BAAI)最近推出了中国首个自主研发的超大规模智能模型系统悟道 1.0。

BAAI研究团队总结了Wu Dao 1.0的一些关键贡献:

  • 悟道 –文源:引入了开源的中文预训练模型(CPM)。基于CPM,CPM-提要模型将语言混乱减少了38%,并在下游任务上获得了更好的结果。
  • 悟道 – 文澜:是第一个可以基于图像和文本的弱相关性理解“内涵信息”的中文通用多模式预训练模型。文澜使用了一种先进的跨模态对比学习算法:给定一个图文对,它可以扩大每个模态的负样本的数量,尤其是那些难以区分的负样本,从而进一步提高了神经网络的表达能力。它可以用最先进的单模式预训练模型轻松替换图像和文本编码器,其性能比UNITER模型快20倍。
  • 悟道 - 文汇:提出了一种新的预训练范式,即生成语言模型(GLM),打破了BERT和GPT的瓶颈。有史以来第一次,单一模型在语言理解和生成任务方面取得了最佳结果,并且超过了对相同数据量进行训练的常见预训练模型(例如BERT,RoBERTa和T5)。文汇的基于连续向量的微调方法P-tuning是第一个在NLU任务中超过AutoEncoder模型的自回归模型,并且在知识提取和Superglue Fewshot学习等10项任务上获得了SOTA结果,其中超过20%性能改进。文汇的逆向提示算法在问答和诗歌生成方面的表现接近人类的表现,
  • 悟道 – 文溯:开源FastMoE是第一个支持PyTorch框架和各种硬件的高性能MoE(混合专家模型)系统。只需一行代码即可完成MoE转换,并且与传统的PyTorch实施相比,模型训练速度提高了47倍。

猜你喜欢