语文+数学:语言符号可实现嵌入、向量和算术操作


嵌入是对一段文字(如单词、句子或段落)的表示。传统上,这个值以数学向量的形式存在,即空间中的一个点。你可以把它想象成地图上的坐标,而地图恰好有很多很多维度。

一旦生成了这些嵌入,你就可以对任何向量集进行各种计算成本低廉的运算。

例如:根据表情符号搜索中:

  • 每个表情符号的向量表示都是事先根据 OpenAI 的 Ada 模型计算出来的。
  • 当您执行搜索时,只有您的新查询会被转化为嵌入。
  • 搜索结果只是使用欧氏距离或余弦相似度计算出的最接近的几个表情符号向量。
  • 排序的语义性质是人工智能模型对这些相关概念进行直观关联的副产品。

我和巴尼-希尔对此很感兴趣,于是开始探索在语言向量上使用算术的想法。

语义加法是什么样的?

我们并不确定,因此我们制作了一个简单的应用程序,让您将两个表情符号相加,并查看与结果最接近的已知表情符号。

尽管该模型反映了训练数据中存在的许多定型观念和缺陷,但它在大多数情况下工作得非常出色。

在 Prodia,我们已经开始研究如何通过检查输入提示是否在已知成人或非法概念的距离阈值内来构建安全系统。
CompVis 小组创建了一个广泛使用的安全过滤器,在首先通过 OpenAI 的剪辑模型处理图像后,该过滤器也做了算术的工作。

不难想象,既然机器可以推理出文本深处的含义,那么未来将截然不同,变得更加模糊。

当语义搜索被深入而广泛地整合在一起时,谁还需要文件和组织呢?
嵌入可以代表比文本更多的东西,比如音频或视频。跨越多种媒体类型的多模态搜索也许并不遥远。