通过调度和预取提高 Hadoop 性能

22-04-21 banq

在本文中，我们继续研究如何提高Hadoop的性能，如何解决数据访问模式、集群内存和有效调度方面的数据定位问题。

在Hadoop集群中，用户通常根据他们的业务需求来访问数据，这使得一些数据比其他数据更容易被访问，这就是为什么我们把数据模式作为我们方法中的一个关键因素。
事实上，性能会受到数据访问延迟的影响，当请求处理的时候，数据块已经在内存中，这是最好的，要知道，当错误的数据总是占用内存空间时，过多的缓存会导致内存开销，甚至严重的延迟。

实际上，现在的集群在节点内存方面提供了更多的能力，根据一些研究，在大多数情况下，节点内存被认为是高度未被充分利用的。在我们的方法中，我们考虑了集群内存，通过新的预取/调度算法，利用未被充分利用的内存空间，为未来的任务提供更好的数据定位，从而提高效率。

我们的方法背后的想法是，根据以前的访问模式，按受欢迎程度区分区块，然后以最佳和有效的方式在所有集群中进行内存分配或内存驱逐。

详细点击标题

猜你喜欢