#数据工程

如何使用传统数据库思维进行实时数据流分析? – thenewstack

21-10-19 300 banq

大多数流数据技术需要开发人员的思维方式不同于使用传统关系数据库的思维方式。但是现在,专注于时间序列数据库的初创公司Deephaven Data Labs发布了 Deephaven Community... 详细

为数据仓库编写SQL存储过程的技巧 - babbling

21-10-14 395 banq

在数据仓库应用程序中,我们需要想办法有效地回填我们的数据并大规模快速运行我们的 SQL。回填是指我们想要在表中填充过去 X 天的数据。为此,我们的 SQL 必须是可重复和可水平扩展的。我们需要以不会... 详细

构建企业CDC数据湖解决方案 -DZone

21-10-12 415 banq

CDC(Change Data Capture) 是一个软件过程,它捕获源数据库中所做的更改( SQLRF 30001" class='body_href' >DDL 和 DML )以同步另一... 详细

在Python中实现调度计划作业的五种方法

21-09-08 601 1 banq

今天构建的大多数应用程序都需要某种方式的调度机制。常见的例子是轮询 API 或数据库、频繁检查系统健康状况、将日志转储到存档等。 Kubernetes 和 Apache Mesos 等自动扩展软件需... 详细

使用 Debezium 和 Apache Iceberg 创建数据湖

21-10-21 269 banq

今天为数据分析、数据报告或机器学习构建数据湖已经是一种常见的做法。 在这篇博文中,我们将描述一种构建数据湖的简单方法。该解决方案使用基于 Debezium 的实时数据管道,支持 ACID 事务、SQ... 详细

优步Uber背后的算法工程是如何运作的?

21-09-06 338 1 banq

优步Uber提供按需出租车服务,只需按一下按钮。在本文中,我们将探讨 Uber 背后特定功能的工程设计。   计算预计到达时间 当你拿出你的手机;打开优步应用并叫车,然后那些聪明的小算法会告诉... 详细

Reddit广告系统使用Druid替代Redis架构

21-08-04 316 1 banq

Reddit是全球最大的社交新闻站点,这是他们用Druid列数据库替代Redis的 架构 迁移: Reddit 的广告业务在过去几年取得了惊人的增长,并且不断发展以满足我们不断增长的广告客户群的... 详细

数据管理架构:单体数据架构与分布式数据网格比较 - enyo

21-08-08 283 banq

这篇博文将帮助读者了解单体数据 架构 、与单体数据架构相关的挑战,以及分布式数据网格如何帮助组织将其分析数据转换为产品并构建高度可扩展、弹性和数据驱动的应用程序。目标受众是有兴趣了解更多关于单体... 详细

使用Python实现分布式网页抓取 - ZenRows

21-08-31 456 banq

以分布式和容错的方式对内容进行爬取、抓取、提取和大规模存储。首先,我们了解了 抓取内容的专业技术 ,尽管今天我们只会使用 CSS 选择器。然后 . 详细

事件是新数据 - DZone

21-07-28 232 banq

牛津词典将“数据”定义为:“收集在一起的事实”。(注:世界是由事实组成的: 维特根斯坦    ) 如果我们改为使用应用程序 架构 师的专业语言,“数据”可以更准确地定义为:“折叠fold在一... 详细

构建数据平台的快速工具指南 - Monte

21-07-29 278 banq

下面我们分享“基本”数据平台的样子,并列出每个空间中的一些热门工具: 数据摄取  与几乎所有现代数据平台的情况一样,需要将数据从一个系统摄取到另一个系统。随着数据基础设施变得越来越复杂,数据团... 详细

大数据处理与数据工程Lambda架构简介

21-08-08 290 banq

我们生活在一个技术时代,大数据、物联网、机器学习都已成为不可避免的现实。在当今世界,决策过程依赖于可以跨越各种数据源(例如社交媒体、日志文件、传感器数据等)的数据。虽然数据的异构性增加了多方面,但随... 详细

Verinovum如何从病例数据筛选出更清洁、更丰富的数据帮助改善医疗保健 - datastax

21-09-04 166 banq

Verinovum 总部位于俄克拉荷马州塔尔萨,提供干净、完整和准确的临床数据,使医疗保健支付者、提供者和合作伙伴组织能够改善业务和患者结果。 与电子健康记录 (EHR) 系统相关的界面和操作流程可... 详细

去中心化大数据存储的开源方案:Storj

21-08-08 273 banq

Storj DCS(去中心化云存储)是一种加密、安全且经济高效的对象存储服务,使您可以使用简单的逻辑实例将对象数据分散到任何地方。 当一个对象上传到 Storj DCS 时,它被默认加密,分成 80... 详细

Airbnb 如何建造“Wall框架”来防止数据错误?

21-08-10 169 banq

通过广泛的数据质量、准确性和异常检查获得对数据的信任。 Airbnb 已经开始了一个大规模的项目,以确保整个公司的数据可信。为了使员工能够更快地利用数据做出决策并为业务指标监控提供更好的支持,我们引... 详细

共有 671 2 3 4 ... 5 下一页