百万数据如何高效率导入数据库

总共有 2 回复／ 1 页

kenjen

悄悄话
发表文章: 2
注册时间: 2008年07月09日 19:40

百万数据如何高效率导入数据库	2008年07月09日 19:41
标签列表

公司有这么个需求，有一些TXT文本文件，每个文件里至少有100万行以上的数据（50M以上）。要求用JAVA写一个程序把TXT里的数据读取出来插入到数据库中的表中去。设计成B/S结构。要求性能足够的高。请大家给个建议。

ygang76

悄悄话
发表文章: 11
注册时间: 2004年12月29日 15:21

re:百万数据如何高效率导入数据库

2008年07月14日 14:29

最好是用特定数据的数据导入语句，你把这个文件生成特定的数据格式，然后用数据库的工具导入就可以了。

javett

悄悄话
发表文章: 11
注册时间: 2006年08月25日 12:50

re:百万数据如何高效率导入数据库

2008年07月17日 17:27

就像电信交换机产生的话单一样,一个还不止这么大,
一个线程读文件,10个以上线程处理入库操作，每个线程都批量，我们这机器可每秒两万能条，１００万的话就一分钟时间
　　

这个主题有 2 回复／ 1 页