谷歌发布了一种NLP模型，称为pQRNN，它以最小的模型尺寸提高了NLP性能的最新水平。pQRNN的新颖之处在于它如何将简单的投影操作与准RNN编码器相结合，以实现快速，并行的处理。该模型可在文本分类任务上实现接近BERT级别的性能，同时使用的模型参数要少几个数量级。
通常上一代模型PRADO的做法是：首先将输入到NLP模型的文本处理为适合于神经网络的形式，方法是将文本分割成与预定义的通用字典（所有可能的标记列表）中的值相对应的片段（标记）。然后，神经网络使用可训练的参数向量（包含嵌入表）唯一地标识每个段。但是，文本的分割方式会对模型的性能，大小和延迟产生重大影响。
基于PRADO改进的pQRNN模型由三个构建块组成：一个将文本中的令牌转换为三元向量序列的投影运算符，一个密集的瓶颈层和一个QRNN编码器堆栈组成。
点击标题见原文