java大数据量对比

12-04-23 zouyi
现有一个号码文件，里面有十万个号码，有另外一个文件里面有几亿数据，是号码+UR-RTTP这种类型的是适配类型，通过第一个文件的中的号码，在第二个文件里面找到对应的适配类型，然后写成一个文件，请问如何处理，需要考虑性能，且不能一次性加载到内存中，因为系统会崩掉！谢谢了！

banq
2012-04-24 10:05
Hadoop使用的分布式文件系统，采取类似Sql的pig操作界面，能够象数据库很容易进行对比。