Dojo
话题
新佳
订阅
极道
元认知
元逻辑
元设计
元编程
元语言
并行计算
以并行思维方式思考
许多软件开发人员试图建立可扩展系统时往往会遇到困难。也许这是因为,最简单和最明显的解决方案往往无法扩展; 这可能解释了为什么这些方案有时被称为“幼稚”的解决方案。 一旦你了解并行一些基本概念和准则,在任何情况下,就会编写可伸缩扩展的代码,最重要的是Amda
使用Kafka并行消费者提高Apache Kafka性能
与其他现代大数据平台一样,Kafka 通过将数据分区到集群中的多个节点来实现无限的水平可扩展性。对于 Kafka,这意味着每个主题都有 1 个或多个分区。 主题拥有的分区越多,并发性就越高,因此潜在的吞吐量就越高。
Java Stream难题 - Heinz Kabutz
下面输出是多少? IntStrea
无服务器召唤师:我们已经进入了无服务器超级计算机的时代 - David Wells
当今高性能计算挑战性的问题之一是:大多数软件都设计为在单台计算机上运行,并且并行化可能会被限定于本地可用的计算机核心或线程数量。想象一个应用程序在一台机器上通常运行需要1个小时……如果在一个全新环境中,您同时启动3600个 lambda函数,每个函数运行一秒,这样接近瞬时返回结果
如何通过ForkJoinPool和HikariCP将大型JSON文件批量处理到MySQL?
这是一个Spring Boot应用程序展示案例,它读取一个相对较大的JSON文件(200000多行),并使用ForkJoinPoolAPI和HikariCP 通过批处理将其内容插入MySQL 。 关键点:1. 使用MySQL json类
Java 8并行流的性能陷阱
并行化流被分成多个块,每个块独立处理,结果在最后汇总。CPU密集型代码如下:
Disruptor困惑
从jdon框架,认识了Disruptor,觉得非常不错,于是下载下来研究。在研究的过程中有几点疑惑,请指教:1.Disruptor采用了生产者、消费者的模式,在定义一个RingBuffer的时候,关联了几种接口(类),比如Event、EventHandler、EventProcessor,这
parallel: 一个简单的并行运行Go循环的库
使用最新泛型,例如:对每个元素调用一次指定的函数,请注意,执行顺序是随机的:
Python 3.12将开启并发和并行编程模型
PEP 684 引入了Per-Interpreter的 GIL,因此现在可以为每个解释器创建具有唯一 GIL 的子解释器。这样,Python 程序就能充分利用多个 CPU 内核。目前只能通过 C-API 使用,不过预计 3.13 版将推出 Python API。
分而治之算法简介 - 数据结构和算法教程
在本文中,我们将讨论分而治之技术的作用以及如何使用 DAC 技术方法解决问题。在本节中,我们将讨论以下主题。 DAC简介。DAC技术下的算法。DAC算法的递归关系。使用DAC技术的问题。
掌握Java并行流:提高现代应用程序的性能
Java并行流为利用多核处理器的计算能力开辟了新的途径,允许更有效地处理数据密集型操作。 Java中的并行流代表了数据处理的范式转变,利用并发的力量来改变我们处理大型数据集的方式。在其核心,并行流将数据源分成多个段,在不同的线程之间同时处理。这种方法利用了
递归算法与并发编程能同时实现吗?
我一直在尝试在递归等求解器中实现并发。但是,我不相信我有正确的实施想法。有谁有关于有效实现递归并发的资源吗? 网友讨论:1、对于这类问题,我认为递归就像树形结构:分支。对于数独这棵相当高的树来说,我不认为并发会比直接递归解决方案带来更多好处。不过,
DeepSeek极端榨取硬件性能被曝光
DeepSeek 的出现是否意味着前沿 LLM 开发不再需要大规模 GPU 集群? 简单来说:不是的。虽然 DeepSeek 的 V3 模型通过一些非常厉害的优化技术,让 GPU 的使用效率变得更高了,但这并不意味着像 Google、OpenAI、Meta
Java中两种基础并行处理方式
并行处理是一种计算技术,其中多个任务或进程同时执行,将它们分解为可以同时处理的更小的子任务。并行处理不是一次处理一项任务,而是可以同时执行多个任务,从而提高性能和效率。 在并行处理系统中,复杂的任务被分为更小的独立部分,然后分配给多个处理器或内核。每个处理
Go-taskflow:类似 taskflow 的通用任务并行编程框架
Go语言通用任务并行编程框架,带有集成的可视化工具和分析器 一个类似于 taskflow 的通用任务并行编程框架,带有一个用于 Go 的集成可视化器和分析器,受
Java中并行流处理约10GB大日志文件
您有一个 10 GB 的银行交易日志文件,其中包含单笔交易的记录。您的任务是处理该文件,过滤掉金额高于 10,000 的交易,然后计算总金额。由于文件很大,因此目标是使用并行性来高效处理它,以加快计算速度。 并行流方法
如果GPU这么好,为何还用CPU?
当我们说 GPU 的性能远高于 CPU 时,我们谈论的是一种称为TFLOPS的测量方法,它本质上衡量的是处理器在一秒钟内可以执行多少万亿次数学运算。例如,Nvidia A100 GPU 可以执行 9.7 TFLOPS(每秒 9.7 万亿次运算),而最近的英特尔 24 核处理器可以执行 0.3
利用多核CPU来跑Map-Reduce的Python开源工具
一个支持多线程并行计算、专门为Python 3.13+设计的 Map-Reduce 工具库。基于 Python 3.13 里新出的“无 GIL(Global Interpreter Lock,全局解释器锁)”特性;它主要用来解决 CPU 密集型的任务,让 Python 终于能真正发挥多核 C
下页
关闭