JiveJdon Community Forums
在线423人   首页   主题表   培训咨询   标签   精华   查搜   注册    登陆 RSS
首页 » 论坛 » 项目工程开发经验谈
???en_US.forumThreadPrev.name??? 上一主题
  Go back to the topic 返回本主题   Go back to the topic listing返回主题列表
???en_US.forumThreadNext.name??? 下一主题
Go 总共有 8 回复 ／ 1 页
 发表新帖子   回复该主题贴
bigsurge

悄悄话
发表文章: 6
注册时间: 2003年07月12日 10:46
请教大数据量查询怎么分页查询？数据量大概有7，8亿条。谢谢 2006年08月24日 11:41 到本帖网址 加入本帖到收藏夹 发送到手机 回复该主题
标签列表
请教大数据量查询怎么分页查询？数据量大概有7，8亿条。
数据库用的是SQLServer 2000，分三台数据库服务器，7张结构相同的表，每个表都建立了索引，现在需要做网页的分页查询，请教大家该怎么做？希望大家给一点建议。
banq

悄悄话
发表文章: 9481
注册时间: 2002年08月03日 17:08
Re: 请教大数据量查询怎么分页查询？数据量大概有7，8亿条。谢谢 2006年08月25日 16:35 到本帖网址 加入本帖到收藏夹 发送到手机 回复该主题
还要看你得客户端访问量，具体实现起来步骤很多，两个原则：
1. 一定要使用缓存
2. 在多台服务器实现缓存查询功能，分担负载。

如果希望很快测试效果，建议使用JdonFramework的批量查询功能。
bigsurge

悄悄话
发表文章: 6
注册时间: 2003年07月12日 10:46
Re: 请教大数据量查询怎么分页查询？数据量大概有7，8亿条。谢谢 2006年08月26日 10:57 到本帖网址 加入本帖到收藏夹 发送到手机 回复该主题
感谢老师的指点。
现在客户端访问量是不是很大，大概一般有20用户个同时访问。
使用缓存？不是太明白，能详细的讲一下吗？
十分感谢。
现在我们用的查询就是select top 20 ...这样的方法，但是每次翻页都要记录所有库里某个条件下的记录数，然后分页。感觉效率很低。
我现在开始看Jdon框架，感觉代码写的很好，但是还不能够灵活运用。
banq

悄悄话
发表文章: 9481
注册时间: 2002年08月03日 17:08
Re: 请教大数据量查询怎么分页查询？数据量大概有7，8亿条。谢谢 2006年08月28日 10:54 到本帖网址 加入本帖到收藏夹 发送到手机 回复该主题
>使用缓存？不是太明白，能详细的讲一下吗？
使用缓存，性能一般能够提高10倍，大概说，就是讲经常访问的数据放置在内存中，不必再到数据库获取，当一台应用服务器不够时，通过分布式多台服务器缓存来提高，这样扩展性就很高，而且不会完全依赖数据库性能。

在一个互联网时代，我们软件系统用户是无法圈定的，过去靠一台数据库服务器的集中式主机扛互联网用户访问性能的方式已经不行了，
galaxystar

悄悄话
发表文章: 11
注册时间: 2006年09月01日 13:21
Re: 请教大数据量查询怎么分页查询？数据量大概有7，8亿条。谢谢 2006年09月01日 13:38 到本帖网址 加入本帖到收藏夹 发送到手机 回复该主题
使用缓存的话，在处理群集同步方面，要慎重！可以采用一些开源的缓存实现，或者有数据库服务器的硬件缓存就跟更好了！

JDK1.5记得适用concurrent包下的几个接口！推荐atomic包！
或者用volatile关键词，切记sychronous的性能问题！
galaxystar

悄悄话
发表文章: 11
注册时间: 2006年09月01日 13:21
Re: 请教大数据量查询怎么分页查询？数据量大概有7，8亿条。谢谢 2006年09月01日 13:39 到本帖网址 加入本帖到收藏夹 发送到手机 回复该主题
7台数据库，群集部署的吗？不知道你们是怎么分库查数据的！（路由规则）
junglesong

悄悄话
发表文章: 33
注册时间: 2006年06月07日 14:05
Re: 请教大数据量查询怎么分页查询？数据量大概有7，8亿条。谢谢 2006年09月01日 16:38 到本帖网址 加入本帖到收藏夹 发送到手机 回复该主题
我的项目和你的比真是太渺小了,惭愧中.
superbible

悄悄话
发表文章: 24
注册时间: 2006年09月11日 10:39
Re: 请教大数据量查询怎么分页查询？数据量大概有7，8亿条。谢谢 2006年09月12日 09:58 到本帖网址 加入本帖到收藏夹 发送到手机 回复该主题
数据都放在缓存里，还能直接使用SQL查询么？
数据量这么大，是不是应该考虑将部分历史数据卸下、归档呢。一般来说，大量的查询会针对近期的。历史查询可以单独放一个库。
eggplant

悄悄话
发表文章: 7
注册时间: 2007年01月08日 18:10
re:请教大数据量查询怎么分页查询？数据量大概有7，8亿条。谢谢 2007年01月09日 10:52 到本帖网址 加入本帖到收藏夹 发送到手机 回复该主题
>还要看你得客户端访问量，具体实现起来步骤很多，两个原则：
>1. 一定要使用缓存
>2. 在多台服务器实现缓存查询功能，分担负载。
＞
＞如果希望很快测试效果，建议使用JdonFramework的批量查询功能。
净瞎说！
这个主题有 8 回复 ／ 1 页 Go
???en_US.forumThreadPrev.name??? 上一主题
  Go back to the topic 返回本主题   Go back to the topic listing返回主题列表    返回页首返回页首
???en_US.forumThreadNext.name??? 下一主题
热点TAG: AOP cache 缓存 DDD EJB 集群 设计模式 Hibernate IOC JiveJdon OO RBAC Seam Spring Struts
正在读取，请等待...
google yahoo 新浪ViVi 365Key网摘 天极网摘 CSDN网摘 添加到百度搜藏 POCO网摘 博采网摘
查询本论坛内 回复超过的热门帖子
     回复该主题贴
标题
 
粗体 斜体 下划线 插入图片 插入代码 插入url链接 插入附件
内容
  发贴前查询 标签列表勿重复发表问题

RSS 手机阅读 add to google add to yahoo
解惑之道在J道 ，打造中国最具影响力的的企业软件社区
OpenSource JIVEJDON v3.0 Powered by JdonFramework Code © 2002-08 jdon.com
anti spam