在企业AI架构，Kubernetes是一个优选的可供选择容器配器和自动化计算机应用程序部署，缩放，和管理。
服务网状网络的背景和起源
Kubernetes和Istio分隔了流量流：
- 与业务相关的流量通过数据平面和
- 消息流以及Istio组件之间的交互以控制网格行为。
Istio是一项开放源代码的网格服务，由Google，IBM和Lyft共同协作创建。
一个服务网是一个共享的组名称和标识，允许共同策略执行和遥测集合，其中服务名称和工作量校长仍然是独一无二的。它是相互连接的服务相互交互的抽象，以减少在分布式环境中管理应用程序的连接性，安全性和可观察性的复杂性。
Istio， 在 “服务网” 是为了连接应用程序组件，从而提振Kubernetes集群协调器的能力，通过管理流行的微服务。它通过将自身透明地分层放置在现有分布式基础架构上，并允许开发人员在云本机应用程序中添加，更改和路由它们，从而简化了微服务的企业部署，因而广为人知。
当将ML模型与实时交通一起部署到生产中时，就会出现ML模型的真正挑战。
Istio以提供完整的解决方案而著称，其中包括对“网格”内连接服务的洞察力和操作控制。Istio的一些核心功能包括：
- HTTP，gRPC，TCP连接上的负载平衡。
- 具有路由，重试和故障转移功能的流量管理控制。
- 甲监视基础设施，其包括度量，跟踪，和可观察部件
- 端到端TLS安全性 –通过加密服务之间以及服务与最终用户之间通信的数据流来保护通信。
- 二进制过程并用不同的语言编写。
- 当分布式微服务可能导致级联故障时，管理 超时和通信 故障。
- 当微服务由多个功能或用户操作触发时，同时更新容器。
- 服务网格有助于实现现代化，使组织无需重写应用程序，采用微服务或新语言或迁移到云即可升级其服务清单。
- API网关：无需启动和运行Kubernetes应用程序，即可使用服务网格– Istio来衡量API使用情况。
Istio的三个组成部分：数据平面，控制平面和管理平面提供了策略驱动的路由请求以及分布式集群的配置管理。
企业AI微服务
企业AI系统中的任何预测系统都是从数据预处理，建模和数据后处理开始的一系列微服务组成的。这种体系结构需要单独的微服务部署和流量路由。这就是Istio在Kubernetes上的位置，这样才能提供这些功能。
以下架构演示了基于Iot的分布式AI解决方案，其中包含大量微服务，其中Istio由于以下原因起着至关重要的作用。
- 推出新的微服务是便于安装或拆卸的物联网设备和应用程序。
- 由于维修，推出新功能或物联网设备重新校准而更新了微服务。
- 确保物联网数据的隐私性和机密性
Istio流量路由配置允许：
- 通过以编程方式调整下游服务版本之间流量的相对权重来执行金丝雀发布。使用Weaveworks：Flagger的开源渐进式金丝雀部署工具可以进行此类自动金丝雀部署 。
- 在自动金丝雀部署，Flagger（Kubernetes运营商）自动迭代的部署和推广，随着Istio和应用网流量路由基于自定义功能普罗米修斯指标。
