大型语言模型（LLM）应用程序堆栈的参考架构：
1、数据管道
- Databricks 用于构建、部署和维护企业数据解决方案的统一数据平台，包括专为人工智能设计的产品（如 MosaicML 和 MLflow）；
- Airflow 数据管道框架，用于以编程方式编写、安排和监控数据管道和工作流程，包括 LLMs ；
- Unstructured.io 用于预处理 PDF、HTML 和 Word 文档等文档的开源组件，可与 LLM 应用程序配合使用；
- Fivetran 该平台可从各种来源提取、加载和转换数据，用于分析、人工智能和运营 ；
- Airbyte 一个开源数据集成引擎，可帮助整合数据仓库、湖和数据库中的数据 ；
- Anyscale 这是一个人工智能计算平台，允许开发人员使用 Ray 来扩展数据摄取、预处理、嵌入和推理计算。
2、嵌入模型
- OpenAI Ada Embedding 2 OpenAI 最受欢迎的嵌入模型，用于捕捉文本中的语义关系 ；
- Cohere AI 一家独立的 LLM 商业供应商，尤其专注于语义搜索、主题聚类和垂直应用的嵌入 ；
- Sentence Transformers 用于句子、文本和图像嵌入的开源 Python 框架
3、矢量数据库
- Pinecone 一个可管理的云原生向量数据库，为高性能人工智能应用提供简单的应用程序接口 ；
- Weaviate 这是一个开源矢量数据库，可同时存储对象和矢量；
- ChromaDB 面向开发人员的人工智能原生开源嵌入式数据库平台 ；
- Pgvector 适用于 Postgres 的开源矢量相似性搜索，允许精确和近似的近邻搜索 ；
- Zilliz (Milvus) 一个开源矢量数据库，专为开发和维护人工智能应用程序而构建 ；
- Qdrant 矢量数据库和矢量相似性搜索引擎；
- Metal io 为开发人员提供托管服务，帮助他们利用 ML 嵌入构建应用程序 ；
- LanceDB 用于人工智能应用的无服务器向量数据库
4、游乐场
- OpenAI Playground 一个基于网络的平台，用于实验 OpenAI 开发的各种机器学习模型
- nat.dev 该平台可让用户使用多种语言模型测试提示，并比较其性能
- Humanloop 帮助开发人员在 LLM 上构建应用程序的平台
- Parea AI 为人工智能工程师提供平台和 SDK，用于 LLM 评估、可观察性和版本控制的增强型 prompt playground。
5、协调者
- Langchain 这是一个开源库，为开发人员提供了构建由 LLM 支持的应用程序的工具；
- LlamaIndex 用于 LLM 应用程序的数据框架，可用于采集、构建和访问私有数据或特定领域数据 ；
- Autogen 为复杂的人工智能应用提供一个框架，利用可定制、可对话的代理来自动化和简化 LLM 工作流程 ；
- Microsoft Semantic Kernel 轻量级开源协调 SDK ；
- Vercel AI SDK 一个开源库，供开发人员使用 JavaScript 和 TypeScript 构建流式用户界面； (node/npm)
- Vectara AI 利用您自己的数据进行人工智能对话的搜索和发现平台； N/A
- ChatGPT 一款人工智能聊天机器人，利用自然语言处理技术创建类似人类的对话
6、APIs / Plugins
- Serp API 用于访问 Google 搜索结果的实时 API，以及处理代理、解决验证码和解析结构化数据 ；
- Wolfram Alpha API 一个基于网络的应用程序接口，提供计算和演示功能，可集成到各种应用程序中 N/A .NET；
- Zapier API AI Plugin 该插件可让您连接 5000 多款应用程序，并直接在 ChatGPT 中与它们互动
7、LLM Caches
- Redis 一种内存数据结构存储，可用作数据库、缓存、消息代理和流引擎；
- SQLite 一个独立、无服务器、零配置、事务型 SQL 数据库引擎 ；
- GPTCache 这是一款开源工具，可通过实施缓存来存储响应，从而提高基于 GPT 的应用程序的效率和速度
更多点击标题
关于上下文情境学习的设计模式
情境学习是指使用现成的大模型，并通过巧妙的提示和对私人“情境”数据的调节来控制其行为。文章还介绍了情境学习的工作流程，包括数据预处理/嵌入、提示构造/检索和提示执行/推理。
上下文数据的加载和转换解决方案，以及情境学习中可能遇到的问题和应对策略。