发帖    主题    评论    推荐    标签    作者    订阅    查搜    注册   登陆   关注
 
面向对象 设计模式 领域驱动设计 企业架构 框架 开发教程 微服务 大数据 扩展性 并发编程 事件驱动 分布式 SOA

百万数据如何高效率导入数据库

2008-07-09 19:41
赞助商链接

公司有这么个需求,有一些TXT文本文件,每个文件里至少有100万行以上的数据(50M以上)。要求用JAVA写一个程序把TXT里的数据读取出来插入到数据库中的表中去。设计成B/S结构。要求性能足够的高。请大家给个建议。

2008-07-14 14:29

最好是用特定数据的数据导入语句,你把这个文件生成特定的数据格式,然后用数据库的工具导入就可以了。

2008-07-17 17:27

就像电信交换机产生的话单一样,一个还不止这么大,
一个线程读文件,10个以上线程处理入库操作,每个线程都批量,我们这机器可每秒两万能条,100万的话就一分钟时间
  

赞助商链接

赞助商链接

返回顶部

移动版 关于本站 使用帮助 联系管理员 最佳分辨率1366x768
OpenSource JIVEJDON Powered by JdonFramework Code © 2002-20 jdon.com