美国最大独立站中台Shopify如何应对有史以来最大的黑五?


2021 年是Shopify有史以来最大的黑色星期五网络星期一!谷歌云基础设施帮助处理幕后的负载高峰!
Shopify 是商业必不可少的互联网基础设施的领先提供商,与全球超过 170 万商家合作。在长周末期间,该公司的商家迎来了创纪录的购买独立品牌和 DTC 品牌的消费者(全球 4700 万),推动了 63 亿美元的全球销售额,同比增长 23%(高于全球 51 亿美元)。 2020 年的销售额)。
Shopify实现了近乎完美的正常运行时间,同时基础设施中平均约 30TB/分钟的出口流量。这是一个巨大的〜43PB /天!以下是一些最有趣的统计数据:
为这种规模的活动做准备并非一蹴而就。期待 BFCM 2021,我们于 7 月开始进行负载测试!为了更好地模拟真实的全球流量,我们将负载生成分布在谷歌云的全球网络。
为了跟上 BFCM 上的流量,我们的 Core MySQL 队列执行了超过 1100 万 QPS 并提供了每秒 11 TB 的读取 I/O。
在本周末的高峰期,我们索引了 >8GiB/s 的日志数据。我们用Splunk监控有关生产系统如何执行的逐秒数据。除了工程之外,这对于我们的支持团队来说很重要,因为它可以实时了解平台上发生的事情。
店面缓存基础结构为 1.8B 命令提供服务。写入 3.18PB 数据,检索 15PB 数据!
为了让我们的系统在本周末的重负载下保持响应,我们使用 Resque 处理了超过 240 亿(是的,B)异步任务。这数十亿个作业的平均排队时间为 16 毫秒。
我们不能独自完成,我们有很多朋友——在这个周末我们回答了 42B API 调用并交付了 11.67B webhooks 来支持数以千计的应用程序ShopifyDevs生态系统。
我们坚信闪购在未来商业中的作用,我们的平台旨在抵御这些巨大的流量。在最大的假日购物活动之一中,一位商家产生的负载足以使用我们总计算能力的 20% 以上。
Shopify 商家的全球销售额为 $6.3B;周五高峰时每分钟 310 万美元。
 
Shop Pay 不再需要排队
对于最终客户而言,耗时的结账体验很容易阻碍或延迟购买。谈到黑色星期五/网络星期一等大型活动时,Shopify 认识到智能无缝结账体验的特殊意义。该公司的工程师开发了 Shop Pay,这是一种有助于加快购买流程的解决方案。除了支持更快的结账外,Shop Pay 还通过记住购物者的偏好并对所有内容进行加密以实现最佳安全性,从而个性化购物体验。
Shopify 的数据显示,Shop Pay 将结账速度提高了 4 倍。在对其最大的 10,000 家商户进行分析后,Shopify 发现启用 Shop Pay 的商户的平均结账到订单率是通过常规结账的商户的 1.72 倍。这种平台性能的创新显着提高了商家的增长和保留率。 
 
Shop Mover 后端  
为了尽可能保持操作的敏捷性和现代性,Shopify 开发并开源了一个通用的 MySQL 数据迁移工具Ghostferry。在 Google Cloud 服务的支持下,Ghostferry 在应用程序仍在运行且停机时间最短(<5 秒)的情况下跨不同的 MySQL 实例移动数据。Shopify 的 Shop Mover 建立在 Ghostferry 和 Google Cloud 服务之上,支持跨多个数据库的数据分片负载平衡。除了作为用于从 Shopify 的数据中心初始迁移到 Google Cloud 的工具之外,Shop Mover 现在每年移动数十万家商店,这也是 Shopify 商家可以处理 BFCM 2021 的大量内容的原因。 Shopify 的全球影响力对商家和购物者来说意味着更好的交易。 
通过与 Google 的合作,Shopify 工程师正在利用全球虚拟私有云 (VPC ) 来简化跨多个区域的应用程序的编写和部署,以及帮助 Shopify 保持全球业务连续性的国内灾难恢复。