针对Hadoop的分析工具:statsd-jvm-profiler

15-01-15 banq
              

statsd-jvm-profiler是一个JVM代理分析器,它用来专门分析Hadoop的job任务,但是也可以用于任何JVM进程。

etsy/statsd-jvm-profiler · GitHub

目前已经有 VisualVM, YourKit, 和hprof. 等分析工具,为什么要重新发明轮子呢?SJP是从riemann-jvm-profiler获得灵感,设计用于专门场合,方便快速分析hadoop job。

分析Hadoop任务是一个复杂过程,每个map和reduce任务都是一个单独的JVM,这样一个job会有数百或数千个不同的JVN,跨Hadoop集群中多个节点服务器运行,使用Scalding框架更厉害,一个Scalding job会运行多个Hadoop job,每个都有许多不同的JVM,这种情况下判断你要分析的代码在哪个JVM上运行是很难,而且存储传输分析快照文件也是一个问题。

SJP使用Etsy 让尽可能多的人访问大数据堆栈,包括调优工作,StatsD 和 Graphite 是拓展Etsy,发送数据给StatsD,SJP激活用户使用他们熟悉的工具来浏览分析数据。

Introducing statsd-jvm-profiler: A JVM Profiler for Hadoop