BentoML让经过训练的ML模型更容易进入生产

banq

BentoML 可以轻松地将经过训练的 ML 模型转移到生产环境中：
  • 打包使用任何 ML 框架训练的模型并复制它们以用于生产中的模型服务
  • 随处部署，用于在线 API 服务或离线批量服务
  • 具有自适应微批处理支持的高性能 API 模型服务器
  • 通过 Web UI 和 API 管理模型和部署过程的中央枢纽
  • 模块化和灵活的设计使其适应您的基础设施
BentoML 是一个用于服务、管理和部署机器学习模型的框架。它旨在弥合数据科学和 DevOps 之间的差距，并使团队能够以快速、可重复和可扩展的方式提供预测服务。
主要特点
生产就绪在线服务：
  • 支持多种机器学习框架，包括 PyTorch、TensorFlow、Scikit-Learn、XGBoost等等
  • 用于使用 Docker、Kubernetes、OpenShift、AWS ECS、Azure、GCP GKE 等进行生产部署的容器化模型服务器
  • 自适应微批处理以获得最佳在线服务性能
  • 自动发现并打包所有依赖项，包括 PyPI、conda 包和本地 python 模块
  • 服务多个模型的组合
  • 服务于多个端点的一个模型服务器
  • 提供任何 Python 代码以及经过训练的模型
  • 自动生成Swagger/OpenAPI格式的REST API 规范
  • 预测日志记录和反馈日志记录端点
  • 用于监控的健康检查端点和Prometheus /metrics端点
为团队标准化模型服务和部署工作流程：
  • 用于通过 Web UI 和 API 管理您团队的所有预测服务的中央存储库
  • 从 CLI 或 Python 启动离线批量推理作业
  • 一键部署到云平台，包括 AWS EC2、AWS Lambda、AWS SageMaker 和 Azure Functions
  • 使用Apache Spark 进行分布式批处理或流服务
  • 简化机器学习 CI/CD 管道的实用程序
  • 使用Dask自动离线批量推理作业（路线图）
  • Kubernetes 生态系统的高级模型部署（路线图）
  • 与培训和实验管理产品集成，包括 MLFlow、Kubeflow（路线图）
机器学习框架