分布式共识一致性教程

     

使用Apache Kafka对电子商务系统进行扩展的思路 - Bogdan

690 2K

案例:我们正面临一个以同步方式过度耦合到大量外部组件的遗留电子商务系统。由于这种高耦合度,我们的系统可能面临多个问题,例如: 当需要时却难以扩展 高负载下性能低 外部服务不可用造成的不可用 由于协调部.

最全面微服务教程:SpringBoot + DDD + Apache Kafka实现最终一致性 - itnext

5112 7 5K
这是关于如何使用Spring for Apache Kafka在跨多个微服务的MongoDB中管理分布式数据模型。由多个微服务组成的现代分布式系统,每个微服务都拥有一个领域的聚合数据的子集,那么该系统.

探索无Zookeeper的新Kafka - morling

1468 4K

有时候,少即是多。绝对正确的一种情况是依赖项。因此,Apache Kafka社区热切地等待着对ZooKeeper服务的依赖关系的删除就不足为奇了,过去ZK主要用于存储Kafka元数据(例如,有关主题和.

幽默视频三则:区块链分布式共识、人工智能和前后端编程

958 1 30K
点击图片 机器学习遭遇训练数据、测试数据和真实数据的反应: 当前端程序员从HTML转到后端Java编程时: .

区块链生态中致命的伸缩性问题 - CoinGeek

807 1

如果基于比特币的协议没有块大小限制,没有链式交易限制,没有脚本限制或其他任何内容,这意味着您可以梦想的任何事情都可以在比特币上构建。在这种理想实现之前,看看当前区块链生态的问题有: 比特币BTC : .

号称不需要Paxos的分布式事务解决方案

849

分布式应用程序在主机之间使用复制方法,由Paxos等协议实现,这样就确保数据可用性并透明地掩盖服务器故障。本文提出了一种在数据中心内部实现复制的新方法,而无需传统方法的性能成本。我们的工作将复制责任仔.

用于分布式系统法定人数仲裁的开源库包:Quoracle

770

Quoracle是一个用于构建和分析读写仲裁系统的库。法定人数系统是确保复制数据一致性的强大机制。生产系统通常选择多数法定人数,因为它们简单且容错性好,但多数法定人数系统提供较差的吞吐量和可扩展性。或.

以太坊创始人V神:人类最重要的稀缺资源是合法性

1231 1 3K

比特币和以太坊区块链生态系统提供了社会共识和协调游戏的机制。为什么特斯拉的埃隆·马斯克(Elon Musk)可以出售他自己推文的NFT,但亚马逊的杰夫·贝佐斯(Jeff Bezos)要做同样的事情要困.

分布式系统基础论文 - muratbuffalo

1885 9K

这是我在分布式系统领域的基础论文汇编。(我专注于核心分布式系统领域,不涉及网络,安全性,分布式分类帐,验证工作等。我甚至没有涉及分布式事务,希望以后再讨论它们。) 我按主题对论文进行了分类,并按时间顺.

如何在Kafka中将严格顺序与大规模并行性结合? - Emil

1185 1 2K

参与了多个针对各个行业的不同客户的大型Kafka项目之后,遭遇一个似乎永远不会过时的问题是:如何保持严格的顺序,同时仍然并行处理记录?这是一个公平的问题。严格的顺序是等于串行化,其概念似乎与并行性的目.

分布式事务锁模式之一:租用Lease

1678 1 2K

分布式系统中群集节点需要对某些资源的独占访问权。但是同时会造成其他节点操作崩溃;其实这些节点可以对资源实现短暂的连接然后断开,这样它们不会无限期地保持对资源的访问。应用案例: Google的[chub.

消息队列全面大指南 - sudhir

2087 1 15K

消息队列基础概念的指南,以及它们如何应用于当今流行的排队系统。在本指南中,我们将讨论: 什么是消息队列及其历史记录。 为什么它们有用,以及在推理时要使用哪些心理模型。 交付保证了排队系统的语义(至少一.

长期运行的基于Lua脚本的Redis事务问题 - scalegrid

2415 8K
Redis提供了两种处理事务的机制-基于MULTI / EXEC的事务和Lua脚本评估。Redis Lua脚本是推荐的方法,在用法上相当流行。部署了Lua脚本的我们的Redis客户经常报告此错误:“B.

什么是分布式一致性领域的CALM定理? -ACM

2766 1 5K
逻辑单调性的一致性(Consistency As Logical Monotonicity:CALM):当且仅当问题是单调的时,问题才具有一致的、无需协调的分布式实现。CALM定理是为了避免分布式事务.

分布式系统中连贯性coherence和一致性consistency的区别?

2796

连贯性coherence确保可以按顺序看到写入内容(带有业务语义);一致性consistency确保可以在不同位置按有意义的顺序查看写入的内容(无关乎上下文或语义)。分布式算法CRDT不保证连贯性co.

Redis发布RedisRaft:提高Redis分布式一致性 –thenewstack

2677 1

Redis已经不是简单的分布式缓存,迈向分布式数据库系统,Red Labs最近发布了RedisRaft开放源代码项目,目标帮助开发多个Redis数据库之间的数据复制,试图实现分布式强一致性部署。Red.

分布式系统的模式 - martinfowler

2208 2 7K
分布式系统给程序带来了特殊的挑战。它们通常要求我们拥有多个数据副本,这些副本需要保持同步。但是我们不能依靠处理节点可靠地工作,并且网络延迟很容易导致不一致。尽管如此,许多组织仍依赖一系列核心分布式软件.

Java并发中volatile和happen before是什么? - javarevisited

1465 2K

要了解happen before,需要首先了解如果多个线程访问同一个变量会发生什么问题?尤其是当一个线程写入该变量,而一个线程同时从该变量读取时。例如,假设我们有以下由线程T1执行的代码(请注意,整数.

Kafka Streams 2.5提供更高的高可用性和交互式查询 - confluent

1505 4K

是什么阻止您将Kafka Streams用作构建应用程序的数据层?毕竟,它具有快速的嵌入式RocksDB存储,可为您处理冗余,具有高度可伸缩性并提供正好一次精确的语义。推荐博文:Apache Kafk.

避免踩坑:如何防止Apache Kafka丢失数据? Kafka中那些为追求高可用性而忽视的高可靠性配置参数 - SoftwareMill技术博客

4770 2 4K

讨论Kafka中最重要的配置,从而能防止Kafka中的数据丢失。生产者消息确认机制这是生产者级别的超重要配置。根据文档,消息确认acks属性是:生产者客户端要求kafka集群中选举的领导者在确认请求完.

分布式共识新算法:PigPaxos突破Paxos通讯瓶颈,吞吐量提高尽3.5倍

2055 1

PigPaxos的中心思想是使跟随者服务器节点与领导者服务器节点的通讯脱钩。PigPaxos修改了通信流程,使用基于中继的通信流程代替Paxos中领导者和跟随者之间的直接通信。PigPaxos在每个通.

双重写入:如何解决微服务分布式系统中数据不一致? - Thorben

3775 1 2K
由于许多新应用程序是作为微服务系统构建的,因此双重写入已成为一个普遍的问题。它们是导致数据不一致的最常见原因之一。更糟的是,许多开发人员甚至都不知道双重写入是什么。什么是双重写入?双重写入描述了您在两.

ScheduledThreadPoolExecutor易出现时钟漂移问题,不宜使用在UTC、系统时间或用户交互方面的定期调度,CronScheduler是用于与外部交互的可靠Java调度程序 - Leventov

2604 6K

ScheduledThreadPoolExecutor 容易出现无限的时钟漂移最近,我意识到ScheduledThreadPoolExecutor容易出现无限制的时钟漂移,因此不能用于以UTC,Uni.

RabbitMQ新的持久的、可复制的分布式事务一致的仲裁队列 – Richard Seroter

4683 2

分布式系统中的状态复制协调非常困难。在一系列联网过程中如何共享状态数据信息并彼此保持同步?最近,RabbitMQ团队发布了一种新型的队列,该队列使用Raft Consensus算法在集群中提供了持久的.

为什么在Apache Druid中的实时数据使用Kafka索引 ? -Kartik Khare

2380 2K

将数据存储在实时数据流中一直是一个挑战。解决方案取决于您的用例具体情况。如果要存储数据以进行每日或每月分析,则可以使用分布式文件系统并在其上运行Hive或Presto;如果要运行一些简单的实时分析,则.

幽默:Facebook的排序算法 - KevlinHenney

1982 1

计算机科学:排序算法,排序算法,更多排序算法...每个程序员:是的,是的,我们知道!Facebook:这是您在31、49、26、29和55分钟前发出的通知。(为什么不按时间排序呢?)众说纷纭:这是因为.

无服务器计算的三个注意事项 – acolyer

1373

Jangda等人由于在“无服务器计算的形式基础”方面的工作而在今年获得了OOPSLA的杰出论文奖。本文的中心是他们观察到无服务器执行环境具有许多独特的属性(例如执行环境的热启动/重用),这会使构建正确.

事件溯源的复制:CloudState是如何支持分布式一致性CRDT的?

1988 3K

无冲突复制数据类型(CRDT)是可用于支持分布式系统中高可用性和可伸缩状态共享的数据结构。CRDT状态被复制到系统中的每个节点。每个节点都可以读取和更新CRDT,而无需与其他节点进行任何协调。如果两个.

使用事件溯源、Kafka和OGG从Oracle内部复制数据

2026 2
OGG:Oracle GoldenGate是一个产品,它允许我们为数据库中发生的每一项活动(Kafka)生成消息 - 更新,插入,删除 - 我们将全部获取。Debezium是一个类似的产品,可以与My.

分布式事务的替换者:在线事件处理OLEP(事件溯源) - ACM权威

4978 4 9K
近半个世纪以来,ACID事务(满足原子性,一致性,隔离性和持久性的特性)一直是确保数据存储系统一致性的首选。众所周知的原子性属性:在发生故障时,可确保事务写入的全部或全部都不会; 隔离防止同时运行的事.