MLOps：您需要了解的一切

近年来，对数据相关职位的需求不断增长。从不同技术背景转向数据行业的人数比例不断增长。数据科学和分析工作是大多数人梦想的竞争激烈的工作角色。

然而，数据行业的其他领域却鲜为人知。这就是机器学习操作 (MLOps)。阅读本文直至最后，了解什么是 MLOps 以及它的适用对象。

什么是 MLOps？
MLOps 代表机器学习操作，是一项协作工作，专注于提高机器学习模型的效率，轻松将ML模型与生产环境集成，并通过实时监控获得的反馈进行改进。

受 DevOps启发的 MLOP概念的诞生是为了解决 ML 模型的传统部署方法所面临的挑战，这些挑战导致协作困难且实时效率较低。它主要关注协作、自动化和持续改进。

近年来，由于机器学习带来的巨大变革，所有行业和企业都因其运营效率而被人工智能/机器学习的革命所吸引。要了解其工作原理，让我们了解机器学习操作的演变。

传统机器学习工作流程面临哪些挑战？
机器学习运营是从处理传统机器学习工作流程中面临的挑战演变而来的。以下是机器学习工作流程中面临的一些挑战：

协作：在传统方法中，不同专业知识的团队分开工作，这限制了他们之间的沟通并可能导致缺乏协作。
版本控制：版本控制变得很麻烦，因为管理不同版本的模型变得很困难，并且跟踪传统工作流程中发生的更改也很麻烦。
手动流程可能非常耗时并且容易出现人为错误。
传统工作流程中的自动化受到限制。
缺乏稳健有效的机制可能会导致难以确保模型的性能。
工作流程中数据的安全性是有限的。

MLOps 作为解决方案的出现：
在传统 ML 工作流程面临的挑战不断演变的过程中，我们最终找到了增强 MLOps 的解决方案，它们是：

采用 DevOps 原则– MLOps 发展的第一步是结合 DevOps 原则并将其应用到机器学习工作流程中，最终提高模型和协作团队的效率。
CI/CD 部署– 主要借用CI/CD管道概念来自动化机器学习工作流程，以减少从开发到生产的机器学习生命周期的时间消耗。
自动化和编排——自动化是主要焦点，因为它应用于所有重复性任务，如训练模型、测试、生产和监控，而编排则确保工作流程顺利。
容器化——在正常环境中运行生产级模型可能会产生较高的计算成本，并且可能成为系统的负担。容器化是解决此问题的最佳实践，因为它提供了一个隔离的环境来跨不同环境运行和部署应用程序。
模型和数据的版本控制——MLOps 中的版本控制与 DevOps 中的版本控制类似。这应用于机器学习模型以观察变化并根据变化自动执行流程，然后发布到生产中。无论何时需要，人们都可以回滚到这些模型。
监控和日志记录– MLOps 拥有强大的监控和日志记录工具，有助于检测问题并根据需要进行纠正，而无需任何手动干预。

MLOps 有哪些好处？
机器学习运营的目标是弥合协作团队之间的差距，从而节省时间并帮助每个人实现业务目标。让我们讨论一下 MLOps 弥补这一差距的好处：

MLOps 提供了团队协作环境和跨职能通信，有助于从开发到部署的顺利过渡。
跟踪模型中所做的更改的做法允许在必要时回滚到以前的版本，并且适用于 ML 模型，这在软件开发中也是如此。
持续监控有助于检测性能下降等问题，并自动提供问题的解决方案和响应，减少人为干扰。
机器学习模型、其训练和部署可能会消耗大量计算资源，而MLOps通过自动化任务和扩展基础设施来优化这些计算资源并使其具有成本效益。
在机器学习生命周期中，为了消除或减少错误和不一致的数量，MLOps 通过遵守一些监管要求和治理标准，引入了一些用于开发、测试、部署和监控的标准化流程。

MLOps 的组成部分是什么？
机器学习操作具有一定数量的核心组件，用于执行机器学习操作。其中一些组件是：

数据挖掘/输入——必要的数据从数据库中获取或由数据挖掘者挖掘。
数据预处理——对挖掘的数据进行预处理，即删除空/不兼容的数据、重新排列数据等。
训练模型——预处理的数据被分成训练批次和测试批次，然后输入模型进行训练。
参数调整– 训练模型的准确性是通过与测试批次一起运行来确定的。通过反馈/精度，模型的参数可以进一步调整以获得更高的精度值。
模型部署——达到满意的准确性后，将模型部署到云端并观察其行为。
重新定义模型参数——经过一段设定的时间后，模型会再次被一遍又一遍地重新训练，以使其容易受到数据趋势的影响。

MLOps 的组成部分是什么？
机器学习操作具有一定数量的核心组件，用于执行机器学习操作。其中一些组件是：

数据挖掘/输入——必要的数据从数据库中获取或由数据挖掘者挖掘。
数据预处理——对挖掘的数据进行预处理，即删除空/不兼容的数据、重新排列数据等。
训练模型——预处理的数据被分成训练批次和测试批次，然后输入模型进行训练。
参数调整– 训练模型的准确性是通过与测试批次一起运行来确定的。通过反馈/精度，模型的参数可以进一步调整以获得更高的精度值。
模型部署——达到满意的准确性后，将模型部署到云端并观察其行为。
重新定义模型参数——经过一段设定的时间后，模型会再次被一遍又一遍地重新训练，以使其容易受到数据趋势的影响。

MLOps 和 DevOps 之间有什么区别？
MLOps 和 DevOps 之间的主要区别在于 MLOps 是为机器学习模型而设计的，而 DevOps 是为处理整体软件开发而设计的。

范围

MLOps 扩展了 DevOps 的原则并处理机器学习模型的部署。
DevOps 是软件和 IT 之间的协作，旨在有效地将开发交付到生产环境。

目标

MLOps 加快机器学习模型的部署并持续改进其实时监控。
DevOps 通过快速可靠的发布来加快产品/应用程序的开发和交付过程。

工作流程

MLOps 只专注于部署机器学习模型、创建合适的管道、自动化模型以及实时监控模型性能。
DevOps 限制软件开发生命周期，从开始到结束，直到产品/应用程序到达生产环境，甚至之后。

MLOps 工具与技术

模型开发：Jupyter Notebook、Keras、Scikit-learn、Fastai、PyTorch。
模型部署工具：TensorFlow、Docker、Kubernetes、MLfolw、kubeFlow。
监控工具：TensorBoard、Kibana、Grafana、Datadog。

DevOp工具：

版本控制系统：Git、Apache、AWSCodeCommit。
CI/CD 工具：Jenkins、Travis CI、Bamboo、Team City。
配置管理工具：Ansible、Salt、Puppet、CFEngine
容器化：AWS、Kubernetes、Azure、Docker

技能

MLOps ：机器学习、数据工程、模型开发、模型部署、容器化、模型版本控制、监控 ML 模型和 A/B 测试的基础知识。
DevOp：版本控制、CI/CD、自动化、容器化、编排、基础设施即代码、监控和日志记录、云平台。

以数据为中心

MLOps 使用大型数据集时增强模型的工作流程是主要关注点。
DevOps 的主要关注点是配置和基础设施的开发和维护。

什么是 MLOps 工作流程？
MLOps 的工作流程使用 MLOps 的组件来提供简化的工作流程，并为部署后更新模型提供帮助。使用分析的数据，可以将该分析实施到代码存储库中，并修改为 ML 管道。这将被实现到元数据或您正在处理的特定数据存储库的核心结构中。

部署后，在一段时间后不断分析数据，例如出现的差异（比较损失函数）将再次触发整个周期。这是完全自动化的，将这项工作从人类手中解放出来，这反过来又意味着更少的人力资源。

谁适合从事 MLOps 工程师？
MLOps 工程师是数据科学家和 IT 运营之间的桥梁，确保从开发到生产环境的机器学习生命周期的高效性。让我们看看 MLOps 工程师的主要职责。

MLOps 工程师的角色和职责是什么？
MLOps 工程师的作用是使用机器学习模型为世界问题构建可行的解决方案。他们还有明确的责任，针对实时变化的数据定期调整参数。他们还有责任在SaaS、DevOps、云计算等不同平台之间找到共同点。

MLOps 工程师还明确负责处理模型、训练模型、分析模型并起草详细的总结报告，描述机器学习模型对当前数据的影响。不仅如此，他们还必须努力寻找一个流程来持续更新和升级已部署的模型，使其不会过时。

结论
总之，MLOps 可以减少大部分手动工作并启动自动化流程。建议所有数据科学和机器学习爱好者不仅仅依靠学习数据科学和机器学习概念来成为数据科学家。要成为一名优秀的数据科学家，必须知道如何使用 MLOps，因为实现机器学习模型并使这些模型达到生产是优秀数据科学家的标志。