大数据架构指南

如果说“软件正在吞噬世界”，那么“数据就是新的石油”。那些能够最好地管理海量数据的人将脱颖而出。精炼这种油的最先进方法是流加工。在这篇文章中，我想描述什么是流处理，以及为什么在当今时代有必要进行流处理。 过去的好时光

向您展示一些可以非常方便地使用Java Stream流的场景以及如何使用它们的示例。本文基于标准Java库java.util.stream。它既与反应流<

机器学习是当今技术最重要的基本趋势之一，也是未来十年科技将在更广阔的世界中改变事物的主要方式之一。作为其中的一部分，机器学习的各个方面引起关注 - 例如，它对就业的潜在影响，以及它用于我们可能认为不道德的目的，例如它可能给予压迫性政府的新能力。另一个，也就是这篇文章的主题，是人工智能偏差的问

本示例接上一个案例，其中有发送消息的案例，这里只是消费者举例，我们将从Tweets my-kafka-streams-topic中读取流，创建一个以＃标签为值的新中间流

在年轻的数据从业者中，越来越多的人认为SQL不是“很酷”，不够好甚至更糟，认为“ SQL不够专业，真正的数据科学家应该编写代码”。然而，自己的经验却使我对此反感。无论是在数据收集和清理等管道的最初阶段，还是功能工程和报告生成的后期阶段，我都开始欣赏SQL的强大功能和多功能性以及RDBMS的有

下一代企业数据平台是使用分布式数据网格包含无处不在的数据！是分布式领域驱动架构，自助平台设计和产品思维与数据的融合。 面向领域的数据分解和所有权​​​​​​​Eric Evans的书“ 

这十三种数据类型其实就是不同业务领域中的数据：1 . 大数据大数据被定义为：大量的数据实际上不适合标准（关系）数据库进行分析和处理，大数据是由人和机器生成的大量信息引起的过程。虽然'大数据'的定义可能略有不同，但每个数据集的根源都是非常大的，包含结构化，半结构化和非结

将HBase中的数据放入Hazelcast IMDG，从Spark以RDD方式访问，这是一个非常广泛使用的解决方案。先决条件 Spring Boot演示应用程序（入门版1.5.9），其数据存储在Hazelcast IMap（hazelcast-app文件夹）中

卡夫卡基础知识 在  《 Kafka简介》中，开发人员Prashant Sh

从工资单到患者入院，所有业务都有流程。通常，组织越大，其流程就越笨拙。业务流程管理（BPM） 是一门将业务和IT观点相结合的学科，旨在提高公司组织的绩效。该领域中相对较新的分支是流程挖掘，该方法专注于利用流经组织的交易数据来确定组织的运作方式。随着企业进行数字化转型并

今天在推特上，吉米·博加德（Jimmy Bogard）就事件溯源的权衡取舍发表他的观点：https://www.jdon.com/53732如果事件溯源架构无法扩展，更快或更简单，为什么要使用它？E

使用客户端设备的实时日志作为事件源，我们可以得出测量值，以了解和量化用户设备如何无缝地处理浏览和回放。

Apache Kafka可能主要被称为消息传递中间件，其结构比队列更灵活，但它也使团队能够更低地进入实时数据管道。使用Kafka的所谓流应用程序具有可扩展性，容错性，并且显示强大的排序和交付保证，此外还具有用于将数据移入和移出Kafka集群的广泛集成。一些应用程序可以利用Kafka

我和12家初创公司合作过。它们涵盖了从金融科技和医疗保健到ed-tech和biotech的垂直行业，从种子前到收购后，我的角色也各不相同，从深入到杂草的一号员工到数据科学和战略顾问的负责人。在所有这些中，我研究了有趣的机器学习和数据科学问题。所有人都试图建立伟大的产品。许多人都成功了。下面是

按计划的时间间隔处理批量文件是当今企业应用程序系统中最常用的自动化任务之一。这种类型的批处理文件处理可用于各种用例，例如创建备份，分析日志，执行计算等。 在本文中，我们将构建一个满足以下要求的批处理文件处理解决方案。外部应用程序以随

该文以宜家王者很多人为的愚蠢的设计体验为例子，说明数据对产品经理的重要（数据用于领域建模），让大部分相关人员可访问才有创新：在购物的几乎所有互动中，宜家都可以使用数据来改善我的体验并降低购买摩擦。我们知道购物者没有耐心，而且过程中的任何摩擦都意味着客户流失，因此存在收益。(banq注