大数据Big Data 性能基准测试

　　Big Data Benchmark from UC Berkeley 对几个大数据产品进行了性能测试：

• Redshift - 亚马逊基于ParAccel 数据仓库提供的大数据产品
• Hive - 著名的基于Hadoop数据仓库系统
• Shark - 兼容Hive SQL的引擎，基于Spark 计算框架 (v0.8 preview, 5/2013)
• Impala - 兼容Hive的 SQL引擎，拥有自己的MPP-like执行引擎. (v1.0, 4/2013)

该实验基于EC2 ，以三种不同查询进行测试，结果如下：

一 、扫描查询Scan query

SELECT pageURL, pageRank FROM rankings WHERE pageRank > X

进行了三组不同数据量的测试：

响应时间结果如下：

Shark在不使用磁盘情况下最好，而在使用磁盘情况下Redshift最好。

二、聚合查询

SELECT SUBSTR(sourceIP, 1, X), SUM(adRevenue) FROM uservisits GROUP BY SUBSTR(sourceIP, 1, X)

响应时间结果如下：

Redshift和Shark - mem 名列前两名

三、Join查询

SELECT sourceIP, totalRevenue, avgPageRank
FROM
(SELECT sourceIP,
AVG(pageRank) as avgPageRank,
SUM(adRevenue) as totalRevenue
FROM Rankings AS R, UserVisits AS UV
WHERE R.pageURL = UV.destURL
AND UV.visitDate BETWEEN Date(`1980-01-01') AND Date(`X')
GROUP BY UV.sourceIP)
ORDER BY totalRevenue DESC LIMIT 1

测试批次：

响应时间结果：

四、UDF查询

CREATE TABLE url_counts_partial AS
SELECT TRANSFORM (line)
USING "python /root/url_count.py" as (sourcePage, destPage, cnt)
FROM documents;
CREATE TABLE url_counts_total AS
SELECT SUM(cnt) AS totalCount, destPage
FROM url_counts_partial
GROUP BY destPage;

总体来说Shark - mem比较全面性能面临前茅，Redshift性能最优秀。

大数据专题