Java大文本并行计算实现过程解析

网友投稿 321 2023-05-28

java大文本并行计算实现过程解析

Java大文本并行计算实现过程解析

简单提高文本读取效率,使用BufferedReader是个不错的选择。速度最快的方法是MappedByteBuffer,但是,相比BufferedReader而言,效果不是非常明显。也就是说,后者虽然快,但也快的有限(不要抱有性能提升几倍的幻想)。

对于大文本的读取,性能瓶颈主要在IO,read占时间多是正常的,硬盘本身就不快,读入内存后还要转成对象,都比较耗时间。

想要提速应当用并行的办法,用多线程同时读取和处http://理数据,但java写多线程程序很麻烦,并行分段读同一个文件时还要考虑调整边界,也比较麻烦。

比如要这么个场景:分组汇总每个客户的销售额,部分源数据如下:

O_ORDERKEY O_CUSTKEY O_ORDERDATE O_TOTALPRICE

10262 RATTC 1996-07-22 14487.0

10263 ERNSH 1996-07-23 43818.0

10264 FOLKO 2007-07-24 1101.0

10265 BLONP 1996-07-25 5528.0

10266 WARTH 1996-07-26 7719.0

10267 FRANK 1996-07-29 20858.0

10268 GROSR 1996-07-30 19887.0

10269 WHITC 1996-07-31 456.0

10270 WARTH 1996-08-01 13654.0

...

期望JBLCGxIm的结果:

Java部分多线程代码大概要写成这样:

...

final int DOWN_THREAD_NUM = 8;

CountDownLatch doneSignal = new CountDownLatch(DOWN_THREADJBLCGxIm_NUM);

RandomAccessFile[] outArrhttp:// = new RandomAccessFile[DOWN_THREAD_NUM];

try{

long length = new File(OUT_FILE_NAME).length();

long numPerThred = length / DOWN_THREAD_NUM;

long left = length % DOWN_THREAD_NUM;

for (int i = 0; i < DOWN_THREAD_NUM; i++) {

outArr[i] = new RandomAccessFile(OUT_FILE_NAME, "rw");

...

if (i == DOWN_THREAD_NUM - 1) {

new ReadThread(i * numPerThred, (i + 1) * numPerThred + left, outArr[i],keywords,doneSignal).start();

...

} else {

new ReadThread(i * numPerThred, (i + 1) * numPerThred,outArr[i],keywords,doneSignal).start();

...

}

}

}

...

如果有集算器就简单多了,它对Java的多线程进行了封装,提供了对大文件分段并行的功能,写起来容易多了,对人员要求也低。比如上面问题,2行就搞定了(集算器内置了并行选项@m,不设置并行数,默认按核数做为并行数):

=file("/workspace/orders.txt").cursor@mt()

=A1.groups(O_CUSTKEY;sum(O_TOTALPRICE):AMOUNT)

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:JAVA SWT事件四种写法实例解析
下一篇:实例代码讲解JAVA多线程
相关文章

 发表评论

暂时没有评论,来抢沙发吧~