Arch：一个智能提示网关

用（快速）LLM 设计，可实现安全处理、强大的可观察性以及提示与 API 的无缝集成 - 所有这些都在业务逻辑之外。
由 Envoy 代理的核心贡献者在 Envoy 上构建。

Arch 采用专门构建的 LLM 设计，可处理与提示处理相关的关键但未分化的任务，包括检测和拒绝越狱尝试、智能地调用“后端” API 来满足提示中所代表的用户请求、路由到上游 LLM 并提供上游 LLM 之间的灾难恢复，以及以集中方式管理提示和 LLM 交互的可观察性。

Arch 是基于Envoy Proxy构建的（也是由其核心贡献者构建的），其理念如下：
提示是细微且不透明的用户请求，它们需要与传统 HTTP 请求相同的功能，包括安全处理、智能路由、强大的可观察性以及与后端（API）系统的集成以实现个性化——所有这些都在业务逻辑之外。*

核心功能：

• 基于Envoy构建：Arch 与应用服务器一起运行，并建立在 Envoy 经过验证的 HTTP 管理和可扩展性功能之上，以处理与提示和 LLM 相关的入口和出口流量。
• 函数调用，用于快速运行 Agentic 和 RAG 应用程序。采用专门构建的LLM设计，可处理快速、经济高效且准确的基于提示的任务，例如函数/API 调用和从提示中提取参数。
• 提示防护：Arch 集中提示防护栏以防止越狱尝试并确保安全的用户交互，而无需编写任何代码。
• 流量管理：Arch 管理 LLM 调用，提供智能重试、自动切换和弹性上游连接以实现持续可用性。
• 基于标准的可观察性：Arch 使用 W3C Trace Context 标准实现跨应用程序的完整请求跟踪，确保与可观察性工具的兼容性，并提供监控延迟、令牌使用情况和错误率的指标，帮助优化 AI 应用程序性能。