近期大模型在搜索或查询方面的创新

基于AI的搜索/文档查找中发生了如此多的创新,大模型RAG领域在过去的2周发生4件大事:

1、更好的检索
ColBERT检索模型现在很容易使用! 它比其他人工智能方法更快地返回更好的结果。现在,它很容易用于检索。

  • 有一个鲜为人知的技巧对ColBERT的结果至关重要:查询增强。 ColBERT将[MASK]标记附加到查询编码器,以允许BERT创建更多不存在的查询向量! 它是最早的草稿纸/思想链吗?
  • 更易于检索:改进的RAGatouille LangChain集成。使RAGatouille和LangChain一起使用变得超级简单 :在你构建了你的RAGatouille检索器之后,你可以直接调用`.as_langchain_retriever()`,它就可以立即作为LangChain检索器使用,你可以在任何链中使用!
  • 重新排名:作为一个LangChain reranker,可以无缝集成!

2、更好的组块
如何分割长文档是保留其意义的关键 :基于文本内容的语义组块

  • "语义分块",即使用嵌入距离将文本分割成块 现在在 langchain-experimental 中!
  • 编程语言特定的分块:特定于语言的文本分割,这允许相关的代码片段放在同一个块中,GitChat的目标是在组织内部部署,作为一个有用的,安全的,面向内部的AI,拥有每个组织独有的知识。演示如何使用LangChain语言特定的文本拆分器,使用新的LCEL语法

3、更好的嵌入
将块转换为嵌入,然后检索它们

使用Monarch Mixer进行长文档检索,最长可达32K序列长度

  • 新的 Monarch Mixer的长上下文检索模型,最高可达32 K序列长度!第一步2长上下文检索,在长上下文文档检索上优于Mistral,BGE,OpenAI。
  • 在 LoCo 上,M2-BERT-32k 超越了最先进的嵌入模型!甚至超过了 Mistral-7B,尽管 M2-BERT 模型只有 8000 万个参数(参数效率是 Mistral-7B 的 85 倍)

可作为API
新的Together Embeddings 有一些很好的特性:
  • 1. SOTA检索质量
  • 2. 32k上下文长度(嵌入 大 证件我的看法是,你可能需要不同粒度级别的不同嵌入,以更好地控制检索精度和成本。但这给了你更多的选择)。
  • 3.比同类产品便宜4倍

4、更好的提示
最后,使用DSPy创建更好的RAG提示链。很多工作将在这里进行。
大模型LM开发堆栈将很快发生巨大的变化:

  • 解决了互操作性:现在LangChain用户可以使用DSPy优化器编译LCEL链
  • DSPy的愿景是推动从低到高级别LM框架的合理 ** 堆栈 **,从DNN抽象空间学习。
  • 包装你的LCEL,使它的行为像一个DSPy模块(1-2行)
  • 定义你的指标。可在DSPy中构建一个度量标准,以检查生成的推文是否准确、引人入胜,并且不包含幻觉
  • 调用DSPy编译器即可完成

这将采用我们最初的简单提示:
“指定{context},请将问题{question}作为推文回答。“

通过内部的几个阶段,它生成了一个更复杂的几个镜头提示,提高了10- 20%的输出质量。