气象数据查询平台设计

业务介绍:
国家气象局在全国各地有N多个检测点,这N个检测点没小时采集一次数据(40M,100W条),发到数据中心;数据中心将数据存放在yyyyMMHH.txt中(比如2013-07-19 17 采集到的数据存放在2013071917.txt)。

需求:
开发一个平台,提供气象数据查询服务(时间限制为当前时间前12个小时)。

设计:
客户请求---->Nginx---->Web 集群---->Redis 集中式缓存<----crontab Python解析脚本<----数据文件yyyyMMHH.txt

1 通过Web集群提高Web服务能力
2 Redis缓存加快读写速度
3 定时执行Python脚本将最新数据写入Redis,将老数据从Redis删除.

请大家多批评、多提建议、多拍砖。