发帖    主题    评论    推荐    标签    作者    订阅    查搜    注册   登陆   关注
 
面向对象 设计模式 领域驱动设计 企业架构 框架 开发教程 微服务 CQRS 扩展性 并发编程 事件溯源 分布式 SOA
1 2 3 4 ... 16 下一页 Go 16

海量数据性能优化措施

                   
2009-04-25 20:09
赞助商链接

大家一起讨论总结下海量数据性能优化措施有哪些,要求:
1. 最好是通用的优化措施,不是针对某个特定数据库的优化措施。如果针对某个特定数据库,则需要单独说明。
2. 这里说的性能优化:主要是查询性能,也包括增加,删除,更新数据时的性能。
4. 这里说的海量数据包括以下两种情况:
(1)上亿的数据量。
(2)百万到千万的数据量。
个人之所以这么分,是觉得这两种数量级,优化处理方法差别比较大的。
5.大家可以从硬件配置,数据库设计配置,SQL优化,程序优化等多方面考虑。
本人考虑主要有以下措施:
1.建立索引,根据不同的情况建立不同的索引,具体不细说。另外:sql server里有聚集索引和非聚集索引,oracle中对应的是什么索引,谁知道?
2.建立表分区,将分区对应的表空间存储在不同的磁盘上。、
3.分表:建立同样的表结构的表N个,存储不同范围的数据。
4.设计上拆分表:比如原来复杂的表,通过关联拆分成多个表,主表只保留主要字段。、
5.表的冗余设计。
6.设计性能优良的SQL语句。
先吃饭了,大家一起想想,还可以讨论的更细。
[该贴被admin于2009-04-26 08:35修改过]

2
2009-04-26 07:03

楼主提出的问题,几乎囊括DB的所有技术,需要用几大本书来回答。楼主倒好,自己轻轻松松写了几个字,就跑去吃饭了,让我们饿着肚子写书?
BBS上,可以问各种各样的问题,深的、浅的、高的、低的,但有一限制,需要的回答只能是简短的。
楼主别心急,一点一点问。起一帖,问一点。

2009-04-26 08:30

首先要采取切割方式,具体情况具体研究。
这些数据其实代表业务,能否根据业务划分子领域,找出核心领域,不能就数据论数据,没有一套裤子适合所有人穿,一定要打破那种学好一套数理化,走遍天下都不怕的僵硬解决问题的思路。

性能之所以优化,而不是提升,是因为优化这个概念中就有天花板,也就是说:总有一天优化不下去。

大数据量的性能提升就是将数据从数据库这个盒子里面拿出来,重点研究解决,而不是隔着靴子(具体数据库产品)挠痒痒,这是基本逻辑,先把方向选定,别急着讨论技术细节,否则南辕北辙。

scalable伸缩性是软件的一个设计目标,如今分布式云计算非常廉价而且容易,google自己就用云计算树立了一个解决大数据的典范。
[该贴被banq于2009-04-26 08:38修改过]

2009-04-26 10:44

谢谢楼上2位的关注。
谢谢Banq老师的回答。
其实我主要是想总结下而已,没有具体环境。总结些常用的解决方案。我不是说以后有场合就用,而是说,到了具体需要用的时候,知道从哪些方面着手,然后再具体问题具体分析。
另外:SQL SERVER 里的聚集索引对应到oracle中,有什么同样的功能呀。SQL SERVER 里的聚集索引就是根据数据存储的物理顺序建立索引,所以效率很高,也基于这个原因,所以每个表必须只有一个聚集索引,因此在需要用的时候,要好好规划,究竟哪个字段需要设置成聚集索引。。但是我现在用的最多的是oracle ,我想知道有什么类似的功能。

2009-04-26 10:57

banq老师说的云计算,其实我也是去年才听说过,但是具体不太清楚,好象云就是虚拟资源,通常为一些大型服务器集群,包括计算服务器、存储服务器、宽带资源等等。不过总体来说,我觉得还是网上的资料说得都比较专业,比较抽象,换句话说,比较难以理解,banq老师能否给我们一个详细的解释,最好用简单的项目例子说明,谢谢。比如我们在什么样的项目需求上需要用,怎么做,谢谢了。

16Go 1 2 3 4 ... 16 下一页

赞助商链接

赞助商链接

返回顶部

移动版 关于本站 使用帮助 联系管理员 最佳分辨率1366x768
OpenSource JIVEJDON Powered by JdonFramework Code © 2002-20 jdon.com