#Java大数据架构文章排行榜

lakeFS:实现类似于Git或事件溯源ES的对象存储功能

21-03-30 1350 1 banq

lakeFS是一个开放源代码层,可为基于对象存储的数据湖提供弹性和可管理性。 借助lakeFS,您可以构建可重复的,原子的和版本化的数据湖操作-从复杂的ETL作业到数据科学和分析。 lakeFS支持... 详细

ClickHouse数据库的起源

21-05-17 1189 1 banq

ClickHouse最初是Yandex Metrica中用于Web分析的解决方案,Metrica是一项用于分析网站流量的流行服务,目前在Google Analytics(分析)之后排名第二。 200... 详细

在REST API中支持批量操作的几个不同方法 - mscharhag

21-05-11 509 1 banq

批量(或批处理)操作用于在单个请求中对多个资源执行操作。这可以帮助减少网络开销。为了提高网络性能,通常最好发出更少的请求,而不是发出更少的数据的更多请求。 但是,在添加对批量操作的支持之前,如果确实... 详细

Airbnb 如何建造“Wall框架”来防止数据错误?

21-08-10 296 banq

通过广泛的数据质量、准确性和异常检查获得对数据的信任。 Airbnb 已经开始了一个大规模的项目,以确保整个公司的数据可信。为了使员工能够更快地利用数据做出决策并为业务指标监控提供更好的支持,我们引... 详细

大数据处理与数据工程Lambda架构简介

21-08-08 907 banq

我们生活在一个技术时代,大数据、物联网、机器学习都已成为不可避免的现实。在当今世界,决策过程依赖于可以跨越各种数据源(例如社交媒体、日志文件、传感器数据等)的数据。虽然数据的异构性增加了多方面,但随... 详细

构建数据平台的快速工具指南 - Monte

21-07-29 837 banq

下面我们分享“基本”数据平台的样子,并列出每个空间中的一些热门工具: 数据摄取  与几乎所有现代数据平台的情况一样,需要将数据从一个系统摄取到另一个系统。随着数据基础设施变得越来越复杂,数据团... 详细

Spring Boot调度任务源码与教程 - Thanh

21-07-26 486 banq

调度是指在特定时间或特定时间间隔后执行任务,以带来减少时间、减少资源、最大化吞吐量的好处。调度的诞生是为了处理诸如收集每日报告、每月报告或在一段时间后处理数据之类的任务。 Spring 提供了一组大... 详细

推特大规模应用的流处理框架:Apache Heron

21-07-14 562 banq

Apache Heron是实时、分布式、容错的流处理引擎。自 2014 年以来,Heron 为 Twitter 的各种用例提供​​了所有实时分析的支持。事件报告下降了一个数量级,证明了经过验证的可靠... 详细

高效实现大数据流式处理大型API响应的注意事项 - simonwillison

21-07-02 401 banq

过去,大多数 Web 工程师会很快否定 API 端点的想法,即流式输出无限数量的行,他们认为应尽快处理 HTTP 请求!处理请求所花费的时间超过几秒钟都是一个危险信号,现在应该重新考虑某些事情。 W... 详细

使用Redis和Lua缓存聚合数据以实现可扩展的微服务架构? - itnext

21-07-01 528 banq

具有大量增长数据的基于 微服务 的扩展应用程序在有效交付聚合数据(如顶级列表)方面面临挑战。 在本文中,我将向您展示如何使用 Redis 缓存聚合数据。而数据库将项目/行数据存储为“真实来源”并... 详细

以Kafka事件中心+Spark为核心构建新一代数据湖平台 - DZone

21-05-29 628 banq

几个月前我一直在考虑撰写“什么是新的企业数据平台?” 在过去的几年中,我一直是新数据平台的数据解决方案 架构 师和产品负责人。我学到了很多东西,我想与社区分享我的经验。 当我们设计和构建数据平台... 详细

JVM上高性能数据格式库包Apache Arrow入门和架构介绍 – Gkatziouras

21-05-26 1871 banq

Apache Arrow是是各种大数据工具(包括BigQuery)使用的一种流行格式,它是平面和分层数据的存储格式。它是一种加快应用程序内存密集型。 数据处理和数据科学领域中的常用库:  Apach... 详细

时序数据库QuestDB是如何实现每秒140万行的写入速度?

21-05-15 2354 banq

QuestDB是一个快速开源时间序列数据库,QuestDB是一个用于时间序列,事件和分析工作负载的开源数据库,主要关注性能( https://github.com/questdb/questdb )... 详细

幽默:AI大数据的真正意思是... - amber

21-04-03 538 banq

大数据是首字母缩写词。它代表: (B)egin开始 (I)nstantly立即 (G)crying哭喊 (D)because因为你 (A)花了你所有的 (T)Time时间 (A)clea... 详细

优步如何分析利用它们的大数据?

21-03-19 511 banq

Uber通过推动数十亿次打车数据,为数百万的司机,企业,餐馆和快递员提供动力,从而彻底改变了世界的生活方式。这个庞大的运输平台的核心是大数据和数据科学,可为Uber所做的一切提供支持,例如更好的定价... 详细

共有 199 上一页 1 2 3 4 5 6 7 ... 14 下一页