Neum AI 框架可帮助开发人员通过嵌入同步和检索来利用数据进行大型语言模型上下文化。
Neum AI 是一个用于管理大规模向量嵌入的创建和同步的框架。它为检索增强生成提供了全面的解决方案，可以随应用程序扩展并减少集成服务所花费的时间。
主要功能包括：
- 高吞吐量分布式架构，可处理数十亿个数据点，并并行化嵌入生成和摄取。
- 通用数据源、嵌入模型和矢量存储的内置连接器允许实时同步，以保持数据最新。
- 可定制的数据预处理支持加载、分块和选择数据。
- 内聚的数据管理增强并跟踪元数据，以实现丰富的检索体验。
该框架可以在本地使用，也可以通过其云平台使用，该平台支持通过嵌入处理数百万个文档。
相关性计算是由向量数据库处理的，但他们试图通过使用流向向量级别的元数据来影响搜索结果分数来提高相关性。为了方便起见，它们以管道的形式提供抽象，包括数据源、嵌入以及结果的存储位置。这使得用户不必担心嵌入查询或使用哪个类来存储数据。
正在研究其他抽象：例如管道集合，以允许跨多个索引进行搜索并获得统一的结果，以及围绕元数据添加更多自动化，因为管道配置捕获了添加的元数据及其示例。