各子站资源变更时需要及时(允许有稍许延迟)更新索引,部署这套系统时最好不要对子站代码做大量变更,也不能要求中心服务器开发80以外的端口。
本来想用分布式文件系统,但是因为端口的限制放弃了。现在能想到的办法只有两个:
一。在中心服务器部署mongoDB,子站资源变更时主动更新索引。
二。在中心服务器部署采集系统,类似于搜索引擎蜘蛛,定期从子站采集数据。
各位道友还有更好的办法么?
各子站资源变更时需要及时(允许有稍许延迟)更新索引,部署这套系统时最好不要对子站代码做大量变更,也不能要求中心服务器开发80以外的端口。
本来想用分布式文件系统,但是因为端口的限制放弃了。现在能想到的办法只有两个:
一。在中心服务器部署mongoDB,子站资源变更时主动更新索引。
二。在中心服务器部署采集系统,类似于搜索引擎蜘蛛,定期从子站采集数据。
各位道友还有更好的办法么?
可以参考NoSQL的内部机制,一般都有一个分区索引表,标记哪些索引对应着哪些分区,google的大表类型吧。
可能需要引入MQ等消息系统,分布式系统现在的标配一般设有消息系统。
中心服务器做成集群之后,多个消费者订阅同一个队列,当子站有资源变更时只要给中心服务器的队列扔个消息就行,还能附带优先级之类的信息。
非常感谢BANQ老师。