JDK8 Stream 数据流,大数据量下的性能效率分析

痴心易碎 提交于 2020-12-16 12:13:22


点击上方蓝字设置为星标吧~


https://blog.csdn.net/Al_assad/article/details/82356606


  阿面和你一起读:


相信大多数Javaer使用的都是Java8了,本文讲解了java8的一些操作和传统方式对比,详见正文~


正文


Stream 是Java SE 8类库中新增的关键抽象,它被定义于 java.util.stream (这个包里有若干流类型:Stream<T> 代表对象引用流,此外还有一系列特化流,如 IntStream,LongStream,DoubleStream等 ),Java 8 引入的的Stream主要用于取代部分Collection的操作,每个流代表一个值序列,流提供一系列常用的聚集操作,可以便捷的在它上面进行各种运算。集合类库也提供了便捷的方式使我们可以以操作流的方式使用集合、数组以及其它数据结构;

stream 的操作种类

中间操作

1、当数据源中的数据上了流水线后,这个过程对数据进行的所有操作都称为“中间操作”;
2、中间操作仍然会返回一个流对象,因此多个中间操作可以串连起来形成一个流水线;
3、stream 提供了多种类型的中间操作,如 filter、distinct、map、sorted 等等;

终端操作

1、当所有的中间操作完成后,若要将数据从流水线上拿下来,则需要执行终端操作;

2、stream 对于终端操作,可以直接提供一个中间操作的结果,或者将结果转换为特定的 collection、array、String 等

stream 的特点

1、只能遍历一次:

数据流的从一头获取数据源,在流水线上依次对元素进行操作,当元素通过流水线,便无法再对其进行操作,可以重新在数据源获取一个新的数据流进行操作;

2、采用内部迭代的方式:

对Collection进行处理,一般会使用 Iterator 遍历器的遍历方式,这是一种外部迭代;

而对于处理Stream,只要申明处理方式,处理过程由流对象自行完成,这是一种内部迭代,对于大量数据的迭代处理中,内部迭代比外部迭代要更加高效;

stream 相对于 Collection 的优点

1、无存储:流并不存储值;流的元素源自数据源(可能是某个数据结构、生成函数或I/O通道等等),通过一系列计算步骤得到;

2、函数式风格:对流的操作会产生一个结果,但流的数据源不会被修改;

3、惰性求值:多数流操作(包括过滤、映射、排序以及去重)都可以以惰性方式实现。这使得我们可以用一遍遍历完成整个流水线操作,并可以用短路操作提供更高效的实现;

4、无需上界:不少问题都可以被表达为无限流(infinite stream):用户不停地读取流直到满意的结果出现为止(比如说,枚举 完美数 这个操作可以被表达为在所有整数上进行过滤);集合是有限的,但流可以表达为无线流;

5、代码简练:对于一些collection的迭代处理操作,使用 stream 编写可以十分简洁,如果使用传统的 collection 迭代操作,代码可能十分啰嗦,可读性也会比较糟糕;


stream 和 iterator 迭代的效率比较

好了,上面 stream 的优点吹了那么多,stream 函数式的写法是很舒服,那么 steam 的效率到底怎样呢?

先说结论:

1、传统 iterator (for-loop) 比 stream(JDK8) 迭代性能要高,尤其在小数据量的情况下;

2、在多核情景下,对于大数据量的处理,parallel stream 可以有比 iterator 更高的迭代处理效率;

我分别对一个随机数列 List (数量从 10 到 10000000)进行映射、过滤、排序、规约统计、字符串转化场景下,对使用 stream 和 iterator 实现的运行效率进行了统计,测试代码 基准测试代码链接

测试环境如下:

  
  
  
  1. SystemUbuntu16.04 xenial

  2. CPU:IntelCore i7-8550U

  3. RAM:16GB

  4. JDK version:1.8.0\_151

  5. JVM:HotSpot(TM) 64-BitServer VM (build 25.151-b12, mixed mode)

  6. JVM Settings:

  7. -Xms1024m

  8. -Xmx6144m

  9. -XX:MaxMetaspaceSize=512m

  10. -XX:ReservedCodeCacheSize=1024m

  11. -XX:+UseConcMarkSweepGC

  12. -XX:SoftRefLRUPolicyMSPerMB=100

1、映射处理测试

把一个随机数列( List<Integer>)中的每一个元素自增1后,重新组装为一个新的 List<Integer>,测试的随机数列容量从 10 - 10000000,跑10次取平均时间;

  
  
  
  1. //stream

  2. List<Integer> result = list.stream()

  3. .mapToInt(x -> x)

  4. .map(x -> ++x)

  5. .boxed()

  6. .collect(Collectors.toCollection(ArrayList::new));

  7. //iterator

  8. List<Integer> result = newArrayList<>();

  9. for(Integer e : list){

  10. result.add(++e);

  11. }

  12. //parallel stream

  13. List<Integer> result = list.parallelStream()

  14. .mapToInt(x -> x)

  15. .map(x -> ++x)

  16. .boxed()

2、过滤处理测试

取出一个随机数列( List<Integer>)中的大于 200 的元素,并组装为一个新的 List<Integer>,测试的随机数列容量从 10 - 10000000,跑10次取平均时间;

  
  
  
  1. //stream

  2. List<Integer> result = list.stream()

  3. .mapToInt(x -> x)

  4. .filter(x -> x > 200)

  5. .boxed()

  6. .collect(Collectors.toCollection(ArrayList::new));

  7. //iterator

  8. List<Integer> result = newArrayList<>(list.size());

  9. for(Integer e : list){

  10. if(e > 200){

  11. result.add(e);

  12. }

  13. }

  14. //parallel stream

  15. List<Integer> result = list.parallelStream()

  16. .mapToInt(x -> x)

  17. .filter(x -> x > 200)

  18. .boxed()

3、自然排序测试

对一个随机数列( List<Integer>)进行自然排序,并组装为一个新的 List<Integer>,iterator 使用的是 Collections # sort API(使用归并排序算法实现),测试的随机数列容量从 10 - 10000000,跑10次取平均时间

  
  
  
  1. //stream

  2. List<Integer> result = list.stream()

  3. .mapToInt(x->x)

  4. .sorted()

  5. .boxed()

  6. .collect(Collectors.toCollection(ArrayList::new));

  7. //iterator

  8. List<Integer> result = newArrayList<>(list);

  9. Collections.sort(result);

  10. //parallel stream

  11. List<Integer> result = list.parallelStream()

  12. .mapToInt(x->x)

  13. .sorted()

  14. .boxed()

4、归约统计测试

获取一个随机数列( List<Integer>)的最大值,测试的随机数列容量从 10 - 10000000,跑10次取平均时间;

  
  
  
  1. //stream

  2. int max = list.stream()

  3. .mapToInt(x -> x)

  4. .max()

  5. .getAsInt();

  6. //iterator

  7. int max = -1;

  8. for(Integer e : list){

  9. if(e > max){

  10. max = e;

  11. }

  12. }

  13. //parallel stream

  14. int max = list.parallelStream()

  15. .mapToInt(x -> x)

  16. .max()

5、字符串拼接测试

获取一个随机数列( List<Integer>)各个元素使用“,”分隔的字符串,测试的随机数列容量从 10 - 10000000,跑10次取平均时间;

  
  
  
  1. //stream

  2. String result = list.stream().map(String::valueOf).collect(Collectors.joining(","));

  3. //iterator

  4. StringBuilder builder = newStringBuilder();

  5. for(Integer e : list){

  6. builder.append(e).append(",");

  7. }

  8. String result = builder.length() == 0? "": builder.substring(0,builder.length() - 1);

  9. //parallel stream

6、混合操作测试

对一个随机数列( List<Integer>)进行去空值,除重,映射,过滤,并组装为一个新的 List<Integer>,测试的随机数列容量从 10 - 10000000,跑10次取平均时间;

  
  
  
  1. //stream

  2. List<Integer> result = list.stream()

  3. .filter(Objects::nonNull)

  4. .mapToInt(x -> x + 1)

  5. .filter(x -> x > 200)

  6. .distinct()

  7. .boxed()

  8. .collect(Collectors.toCollection(ArrayList::new));

  9. //iterator

  10. HashSet<Integer> set= newHashSet<>(list.size());

  11. for(Integer e : list){

  12. if(e != null&& e > 200){

  13. set.add(e + 1);

  14. }

  15. }

  16. List<Integer> result = newArrayList<>(set);

  17. //parallel stream

  18. List<Integer> result = list.parallelStream()

  19. .filter(Objects::nonNull)

  20. .mapToInt(x -> x + 1)

  21. .filter(x -> x > 200)

  22. .distinct()

  23. .boxed()

7、实验结果总结

从以上的实验来看,可以总结处以下几点:

1、在少低数据量的处理场景中(size<=1000),stream 的处理效率是不如传统的 iterator 外部迭代器处理速度快的,但是实际上这些处理任务本身运行时间都低于毫秒,这点效率的差距对普通业务几乎没有影响,反而 stream 可以使得代码更加简洁;

2、在大数据量(szie>10000)时,stream 的处理效率会高于 iterator,特别是使用了并行流,在cpu恰好将线程分配到多个核心的条件下(当然parallel stream 底层使用的是 JVM 的 ForkJoinPool,这东西分配线程本身就很玄学),可以达到一个很高的运行效率,然而实际普通业务一般不会有需要迭代高于10000次的计算

3、Parallel Stream 受引 CPU 环境影响很大,当没分配到多个cpu核心时,加上引用 forkJoinPool 的开销,运行效率可能还不如普通的 Stream;

8、用 Stream 的建议

1、简单的迭代逻辑,可以直接使用 iterator,对于有多步处理的迭代逻辑,可以使用 stream,损失一点几乎没有的效率,换来代码的高可读性是值得的

2、单核 cpu 环境,不推荐使用 parallel stream,在多核 cpu 且有大数据量的条件下,推荐使用 paralle stream;

3、stream 中含有装箱类型,在进行中间操作之前,最好转成对应的数值流,减少由于频繁的拆箱、装箱造成的性能损失;

文章帮助点个 


本文分享自微信公众号 - Java面试进化论(AuditionEvolution)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!