百万数据如何高效率导入数据库

kenjen
08-07-09 2 306

公司有这么个需求,有一些TXT文本文件,每个文件里至少有100万行以上的数据(50M以上)。要求用JAVA写一个程序把TXT里的数据读取出来插入到数据库中的表中去。设计成B/S结构。要求性能足够的高。请大家给个建议。

ygang76
2008-07-14 14:29

最好是用特定数据的数据导入语句,你把这个文件生成特定的数据格式,然后用数据库的工具导入就可以了。

javett
2008-07-17 17:27

就像电信交换机产生的话单一样,一个还不止这么大,
一个线程读文件,10个以上线程处理入库操作,每个线程都批量,我们这机器可每秒两万能条,100万的话就一分钟时间