如果计算机可以开始理解莎士比亚，这不是令人难以置信吗？还是像 JK 罗琳那样写小说？这在几年前是不可想象的。自然语言处理(NLP) 和自然语言生成(NLG) 的最新进展大大提高了计算机更好地理解基于文本的内容的能力。
为了理解和生成文本，NLP 驱动的系统必须能够识别单词、语法和大量语言细微差别。对于计算机来说，这说起来容易做起来难，因为它们只能理解数字。
为了弥补这一差距，NLP 专家开发了一种称为词嵌入的技术，可将词转换为其数值表示。转换后，NLP 算法可以轻松消化这些学习到的表示以处理文本信息。
词嵌入将词映射为实值数值向量。它通过标记序列（或句子）中的每个单词并将它们转换为向量空间来实现。词嵌入旨在捕获文本序列中词的语义。它为具有相似含义的单词分配相似的数字表示。
让我们来看看 NLP 中一些最有前途的词嵌入技术。
1. TF-IDF——词频-逆文档频率
TF-IDF 是一种机器学习 (ML) 算法，它基于查找文本中单词相关性的统计度量。文本可以是文档或各种文档（语料库）的形式。它是两个指标的组合：词频 (TF) 和逆文档频率 (IDF)。
TF-IDF 算法用于解决更简单的 ML 和 NLP 问题。它更适合用于信息检索、关键字提取、停用词（如“a”、“the”、“are”、“is”）去除和基本文本分析。它不能有效地捕捉序列中单词的语义。
2. Word2Vec——捕获语义信息
Word2Vec 由 Tomas Mikolov 和谷歌的其他研究人员于 2013 年开发，是一种用于解决高级 NLP 问题的词嵌入技术。它可以迭代大量文本以学习单词之间的关联或依赖关系。
Word2Vec 通过使用余弦相似度度量找到单词之间的相似度。如果余弦角为 1，则表示单词重叠。如果余弦角为 90，则表示单词是独立的或没有上下文相似性。它为相似的词分配相似的向量表示。
Word2Vec 提供两种基于神经网络的变体：Continuous Bag of Words (CBOW) 和 Skip-gram。在CBOW中，神经网络模型以各种词作为输入，预测与输入词的上下文密切相关的目标词。另一方面，Skip-gram 架构将一个词作为输入并预测其密切相关的上下文词。
CBOW 速度快，可以为频繁词找到更好的数值表示，而 Skip Gram 可以有效地表示稀有词。Word2Vec 模型擅长捕捉单词之间的语义关系。例如，一个国家与其首都的关系，就像巴黎是法国的首都，柏林是德国的首都。它最适合执行语义分析，在推荐系统和知识发现中都有应用。
3. GloVe——词表示的全局向量
GloVe 由 Jeffery Pennington 和斯坦福大学的其他研究人员开发，扩展了 Word2Vec 的工作，通过计算全局词-词共现矩阵来捕获文本语料库中的全局上下文信息。
Word2Vec 仅捕获单词的本地上下文。在训练期间，它只考虑相邻的词来捕捉上下文。GloVe 会考虑整个语料库并创建一个大型矩阵，该矩阵可以捕获语料库中单词的共现情况。
GloVe 结合了二词向量学习方法的优点：矩阵分解（如潜在语义分析（LSA））和局部上下文窗口方法（如 Skip-gram）。GloVe 技术具有更简单的最小二乘成本或误差函数，可降低训练模型的计算成本。由此产生的词嵌入是不同的并且得到了改进。
GloVe 在词类比和命名实体识别问题上的表现要好得多。它在某些任务中优于 Word2Vec，而在其他任务中则与之竞争。然而，这两种技术都擅长捕捉语料库中的语义信息。
4. BERT—— 来自 Transformer 的双向编码器表示
BERT 于 2019 年由 Google推出，属于一类基于 NLP 的语言算法，称为Transformers。BERT 是一个大规模的预训练深度双向编码器变压器模型，有两种变体。BERT-Base 有 1.1 亿个参数，BERT-Large 有 3.4 亿个参数。
为了生成词嵌入，BERT 依赖于注意力机制。它生成高质量的上下文感知或上下文化的词嵌入。在训练过程中，嵌入通过通过每个 BERT 编码器层进行细化。对于每个单词，注意力机制根据左侧的单词和右侧的单词捕获单词关联。词嵌入也进行了位置编码，以跟踪句子中每个词的模式或位置。
BERT 比上面讨论的任何技术都更先进。它创建了更好的词嵌入，因为该模型是在大量词库和维基百科数据集上进行预训练的。BERT 可以通过微调特定任务数据集上的嵌入来改进。
不过，BERT 最适合语言翻译任务。它已针对许多其他应用程序和领域进行了优化。