什么样的算法可以用Spark重写

lovemelovemycode 14-12-05
              

Spark MLlib是一个机器学习的工具,事项了协同过滤、线性回归、支持向量机等若干算法。可是气象上还有很多算法没有事项。比如说常用的插值算法:IDW,克里金,Cressman,样条。

1 我想用Spark重写一下这些算法,什么样的算法才可以用Spark重写呢?

2 模糊记得网上有人说过,如果要用Spark重写某个算法,需要满足一个条件:将问题描述为矩阵,该矩阵应该是可以拆分的(否则做不了并行),然后通过Spark对矩阵进行并行计算。计算结果就是算法的结果。这样说对吗????

              

1
banq
2014-12-05 13:23

不是很清楚,Hadoop是一个生态链,Spark虽然号称性能快,但是如何融入生态系统,而不是重新建立也许是一个大挑战。

见:为什么使用Spark

使用GPU深度学习Java源码

在GPU上运行Spark
[该贴被banq于2014-12-05 13:35修改过]