Google发布pQRNN新NLP模型:基于投影的高效模型架构

20-09-22 banq

谷歌发布了一种NLP模型,称为pQRNN,它以最小的模型尺寸提高了NLP性能的最新水平。pQRNN的新颖之处在于它如何将简单的投影操作与准RNN编码器相结合,以实现快速,并行的处理。该模型可在文本分类任务上实现接近BERT级别的性能,同时使用的模型参数要少几个数量级。

 

通常上一代模型PRADO的做法是:首先将输入到NLP模型的文本处理为适合于神经网络的形式,方法是将文本分割成与预定义的通用字典(所有可能的标记列表)中的值相对应的片段(标记)。然后,神经网络使用可训练的参数向量(包含嵌入表)唯一地标识每个段。但是,文本的分割方式会对模型的性能,大小和延迟产生重大影响。

基于PRADO改进的pQRNN模型由三个构建块组成:一个将文本中的令牌转换为三元向量序列的投影运算符,一个密集的瓶颈层和一个QRNN编码器堆栈组成。

点击标题见原文

         

猜你喜欢