Dojo
最新
最佳
搜索
订阅
解道Jdon
架构设计
领域驱动
DDD介绍
DDD专辑
战略建模
领域语言UL
领域事件
商业分析
工作流BPM
规则引擎
架构师观点
数据工程
产品经理
系统思维
微服务
微服务介绍
微服务专辑
模块化设计
SOA
API设计
clean架构
SpringBoot
分布式事务
分布式架构
Kubernetes
DevOps
编程设计
GoF设计模式
模式专辑
面向对象
函数式编程
编程语言比较
编程工具比较
形式逻辑
前端编程
Reactive编程
Jdon框架
Rust语言
人工智能
Web3
模因梗
幽默梗
程序员吐槽
面试技巧
Java入门
数字化转型
认知偏差
道德经
更多话题
机器学习的静态特征和动态特征
22-11-13
banq
在设计机器学习系统时,了解静态和动态特征之间的区别很重要,因为它可能会成败您将 ML 模型发布到生产中的努力。
静态特征:
这些特征是由不经常变化的数据产生的。
这些数据很可能与你的数据模型中的维度相似。
数据以一定的时间间隔被刷新。例如,每2小时,每天。
例子。仓库中的库存属性。
动态特征:
数据经常变化,或者可能暂时存在一个背景。
数据将类似于你的数据模型中的事实或事件。
特征是通过聚合事件或事实实时生成的。
例子。用户在过去2分钟内的点击次数。
案例:
所有的数据最终都是实时产生的,所以在这个例子中,我们从CDC流中收集数据,或者直接从应用中发射事件。我们将这些数据推送到Kafka主题。
数据被推送到一个对象存储中,以加载到数据仓库。
数据被加载到数据仓库中,进行转换。
我们对数据仓库内的数据进行建模,为特征工程做准备。
我们将所需的数据检索到ML管道中,该管道生成一个模型工件并将其推送到模型注册中心。
我们执行相同的特征工程逻辑,并将批量特征推送到低延迟的存储中,如Redis。
如果我们需要实时动态特征--我们用Flink应用实时执行ML管道中的特征工程。
我们将生成的特征推送到Redis。
现在我们可以从模型注册表中部署模型并从 Redis 中获取所有特征了
机器学习
MLOps