2024年数据中台工程十大趋势
在当今世界，创新和决策需要 重视程度日益增加。数据工程提供了许多工具和方法，持续为公司提供有关如何克服所面临挑战的见解。
，例如为不同类型的数据无缝流动建造桥梁、隧道和标志
2 个月 前
奈飞Netflix两年数据工程经验 - XInran
首先，我想讨论几个数据工程的具体方面：可见性、协作和多样性（技能）。 可见性 鉴于数据工程工作的性质，在许多公司，数据工程经常生活在数据科学的阴影之下。 因此，数据工程团队的可见性往往是
1 年 前
web 工程的分层
我对web工程的分层如下 dao 数据访问接口 成员: 接口,接口工厂类DaoFactory,公用dao类BaseHibDao dao.impl 数据访问实现 成员: 实现dao
10 年 前
什么是函数式数据工程？
。 文化不匹配在很大程度上仍在发挥作用。数据仍在努力在组织中站稳脚跟，而像 如何证明数据团队的价值这样的 文章说服了领导团队。 我们越接近将软件工程原理引入数据工程，我们就越能看到数据工程在行业中
1 年 前
Schemata：分散式的数据结构建模框架
自从 Hadoop 和 MapReduce 诞生以来，数据工程社区一直非常关注数据转换的商品化。所有 Hadoop 抽象，如 Hive、Pig、Crunch 等。在 Hadoop 之上构建
1 年 前
硬货：如何做好一名系统架构设计师以及面试技巧
，每秒写入的数据，每秒读取的数据。 高级架构设计 绘制重要组件及其之间的连接，但不要详细介绍。通常，可伸缩系统包括webserver（负载均衡器），服务（服务分区），数据库（主/辅助数据库集群插件
4 年 前
数字时代：什么是数据工程？ -Techin3
个性化营销活动到为自动驾驶汽车提供动力。数据科学家负责分析数据并将其用于各种目的。 但是，他们需要高质量的数据来完成复杂的任务，例如预测业务趋势。那就是数据工程师发挥作用的地方。 数据工程是一种收集和
3 年 前
机器学习的静态特征和动态特征
应用中发射事件。我们将这些数据推送到Kafka主题。 数据被推送到一个对象存储中，以加载到数据仓库。 数据被加载到数据仓库中，进行转换。 我们对数据仓库内的数据进行建模，为特征工程做准备
1 年 前
MLOps 主要是数据工程 - cpard
MLOps 作为管理数据基础设施的一类新工具出现，专门针对 ML 用例，主要假设是 ML 具有独特的需求。 几年后，随着炒作消失，很明显，MLOps 与数据工程的重叠比大多数人认为的要多。让我们
1 年 前
什么是软件行业的工程经理？ - DZone Agile
一位作者分享了他第一次担任工程经理的经历。它会成为你的下一个职业吗？ 最近，我加入 Nextail Labs 担任工程经理。这是我第一次在软件初创公司工作并担任工程经理。 工程经理角色有很多
2 年 前
tomaztk/Spark-for-data-engineers：面向数据工程师的Apache Spark学习教程
工程应具备以下程度和能力： 系统 架构 编程 数据库设计和配置 接口和传感器配置 除此之外，与熟悉技术工具一样重要，数据架构和管道设计的概念更为重要。如果没有对以下方面的扎实概念理解
2 年 前
数据管理架构：单体数据架构与分布式数据网格比较 - enyo
集中式数据存储中存储、转换、操作、使用、管理等。单体数据架构由一个庞大的平台团队管理，适用于业务领域相对简单且数据格局不会不断变化的小型组织，但它们对不断发展的工程团队提出了一些挑战。让我们来看看其中的
2 年 前
企业数据状态混乱之原因与对策：引入DDD - Allamaraju
由于多种原因，企业中数据状态混乱，四个方面很突出： 跨组织边界的零散所有权和问责制：信息孤岛、筒仓。 数据库管理和数据工程等特定功能的集中化，但在整个企业游戏中没有一块完整的皮肤可用 技能
2 年 前
Capital One是如何踏上云迁移的不归之路？
，工程团队可以访问来自云组件的大量日志形式的新数据。通过访问日志，我们能够构建实时监控仪表板并与企业警报系统集成，以便在错过基准测试时提醒我们。监控仪表板还充当所有利益相关者的“单一面板”，这确保每个人
2 年 前
数据摄取的 7 个最佳实践
“数据工程是 2022 年最性感的新工作”它在需求和职业机会方面已经超过了数据科学。 如果您还没有看到对数据工程的需求呈天文数字增长，那么您很可能在过去 2 年都生活在山洞里。 到底是什么炒作
1 年 前