气象数据查询平台设计

13-07-20 lovemelovemycode
    

业务介绍:

国家气象局在全国各地有N多个检测点,这N个检测点没小时采集一次数据(40M,100W条),发到数据中心;数据中心将数据存放在yyyyMMHH.txt中(比如2013-07-19 17 采集到的数据存放在2013071917.txt)。

需求:

开发一个平台,提供气象数据查询服务(时间限制为当前时间前12个小时)。

设计:

客户请求---->Nginx---->Web 集群---->Redis 集中式缓存<----crontab Python解析脚本<----数据文件yyyyMMHH.txt

1 通过Web集群提高Web服务能力

2 Redis缓存加快读写速度

3 定时执行Python脚本将最新数据写入Redis,将老数据从Redis删除.

请大家多批评、多提建议、多拍砖。

    

banq
2013-07-21 08:42

好像没有考虑异步这样的柔性设计。

如下图:

图中Broker是一个ZQ或RabbitMQ的中间转发者。

参考:http://www.jdon.com/44688#23140632