并行处理

为什么学习高并发？ 作为一名非CS科班出生的同学，在经过多年IT从业之后，明显能感受到职业生涯发展的后继无力，由于从事的是传统金融行业，对应的公司其实内心深处是不重视IT部门的，而我这种IT从业人员虽然已经是团队或者是部门非常重要的人员，但是最后再发展下去也就是一个业务专家，业务专家本质上的知识不是自身的知识体系，而是公司的知识体系，而只有技术知识体系才是自己的。于是早在18年我就开始了自己的转型学习之路，前期学习了网络知识、Java并发编程，再要想学习JVM时，命运无情的枷锁打断了我的学习进程，19年就在沉闷和潜伏中度过，终于到了20年了，也即将迈入而立之年，给自己定个目标，今年上半年一定要转型完成进入一家心仪的公司，在职业生涯的黄金时期认认真真的再CODE一下。先说一下转型目标，希望能从事高并发、高性能相关的开发工作，为什么会定这个目标？除了自己对这个领域感兴趣外，确实也能从某些知名大型企业的社会招聘能看到这些领域的需求岗位是比较旺盛的，截图如下： 什么是高并发？ 再谈论什么是高并发之前，我觉得非常有必要先搞清楚并发、并行和高并发这几个概念，至少对于非CS科班出身的我，一直就不知道这几个是什么高深的内容。 并发、并行和高并发 网易公开课《清华大学公开课：7.3进程的特点》中是这么定义的并发和并行，并发是指在一个时间段内有多个进程在执行，只不过在人的角度看

并发编程中的重重量级模型和轻量级模型 使用轻量级并发开发 不管是 Amdahl 定律还是 Gustafson 的定律都没有考虑引入并发需要付出的额外开销。同时也没有考虑那些可以将顺序代码转变成可以利用并行优势的算法的设计模式。重要的是减少程序中必须执行的顺序代码，改善对并行执行单元的利用。 以前的 .NET 版本，如果你想在一个进程内并行执行 C# 应用程序，你必须创建和管理多线程（软件线程）。所以，你必须编写复杂的多线程代码。分解算法到多个线程上，协调不同的代码单元，在它们之间共享信息，并且收集执行结果确确实实是一件复杂的编程工作。随着逻辑核心的增多，情况变得甚至更糟了，因为你需要更多的线程来获取更好的可伸缩性。 多线程模型的设计并不是为了帮助开发人员应对多核革命的。事实上，创建一个新的线程需要很多很多的处理器资源，并且把每一个算法分解到并行的线程上会引入很多的开销。大多有用的结构和类的设计并不能被不同的线程同时访问，所以必须添加很多的代码处理这种情况。这些额外的代码是开发人员难以专注主要目的：利用并行执行改善程序性能。 因为这种多线程模型处理多核并发太复杂了，所以这就是众所周知的重量级并发模型。这引入了额外的负担。由于在框架级别缺乏对多线程互访的支持，为了解决这个问题需要添加太多的代码，这使代码异常的难理解。 前面提到的与先前 .NET

并行和串行： 串行：一次只能取得一个任务并执行这一个任务 并行：可以同时通过多进程/多线程的方式取得多个任务，并以多进程或多线程的方式同时执行这些任务 注意点： 如果是单进程/单线程的并行，那么效率比串行更差 如果只有单核cpu，多进程并行并没有提高效率 从任务队列上看，由于同时从队列中取得多个任务并执行，相当于将一个长任务队列变成了短队列 并发： 并发是一种现象：同时运行多个程序或多个任务需要被处理的现象 这些任务可能是并行执行的，也可能是串行执行的，和CPU核心数无关，是操作系统进程调度和CPU上下文切换达到的结果 解决大并发的一个思路是将大任务分解成多个小任务： 可能要使用一些数据结构来避免切分成多个小任务带来的问题 可以多进程/多线程并行的方式去执行这些小任务达到高效率 或者以单进程/单线程配合多路复用执行这些小任务来达到高效率 来源： oschina 链接： https://my.oschina.net/u/4167465/blog/3170816

第一部分 基础知识 1. 为什么要关心Java8 2. 通过行为参数化传递代码 3. Lambda 表达式 第二部分 函数式数据处理 4. 引入流 5. 使用流 6. 用流收集数据 7. 并行数据处理与性能 第三部分 高效Java 8编程 8. 重构、测试和调试 9. 默认方法 10. 用Optional取代null 11. CompletableFuture：组合式异步编程 12. 新的日期和时间API 第四部分 超越Java 8 13. 函数式的思考 14. 函数式编程的技巧 15. 面向对象和函数式编程的混合：Java 8和Scala的比较 16. 结论以及Java的未来 第一部分 基础知识 1 1.为什么要关心Java8 1.1.Java 怎么还在变 1.1.1.Java 在编程语言生态系统中的位置 1.1.2.流处理 1.1.3.用行为参数化把代码传递给方法 1.1.4.并行与共享的可变数据 1.1.5.Java 需要演变 1.2.Java 中的函数 1.2.1.方法和Lambda 作为一等公民 1.2.2.传递代码：一个例子 1.2.3.从传递方法到Lambda 1.3.流 1.3.1.多线程并非易事 1.4.默认方法 1.5.来自函数式编程的其他好思想 2 2.通过行为参数化传递代码 2.1.应对不断变化的需求 2.1.1.初试牛刀：筛选绿苹果 2.1.2.再展身手

欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入。 文章索引::”机器学习方法“，”深度学习方法”，“三十分钟理解”原创系列 2017年3 月，谷歌大脑负责人 Jeff Dean 在 UCSB 做了一场题为《通过大规模深度学习构建智能系统》的演讲[9]。Jeff Dean 在演讲中提到，当前的做法是： 解决方案 = 机器学习（算法）+ 数据 + 计算力 未来有没有可能变为： 解决方案 = 数据 + 100 倍的计算力？ 由此可见，谷歌似乎认为，机器学习算法能被超强的计算力取代[9]。 [11]研究工作表明，任务表现与训练数据数量级呈线性增长关系。或许最令人震惊的发现是视觉任务的表现和用于表征学习的训练数据量级（对数尺度）之间的关系竟然是线性的！即使拥有 300M 的大规模训练图像，我们也并未观察到训练数据对所研究任务产生任何平顶效应（plateauing effect）。 上图说明预训练模型在 JFT-300M 不同子数据集中的目标检测性能。其中 x 轴代表数据集的大小，y 轴代表在 mAP@[.5,.95] 中 COCO-minival 子数据集上的检测性能。 要完成超大规模数据的训练，以及训练超大规模的神经网络，靠单GPU是行不通的(至少目前来看)

转自：https://laike9m.com/blog/huan-zai-yi-huo-bing-fa-he-bing-xing,61/ 还在疑惑并发和并行？ OK，如果你还在为并发（concurrency）和并行（parallesim）这两个词的区别而感到困扰，那么这篇文章就是写给你看的。搞这种词语辨析到底有什么意义？其实没什么意义，但是有太多人在混用错用这两个词（比如遇到的某门课的老师）。不论中文圈还是英文圈，即使已经有数不清的文章在讨论并行vs并发，却极少有能讲清楚的。让一个讲不清楚的人来解释，比不解释更可怕。比如我随便找了个网上的解释： 前者是逻辑上的同时发生（simultaneous），而后者是物理上的同时发生． 并发性(concurrency)，又称共行性，是指能处理多个同时性活动的能力，并发事件之间不一定要同一时刻发生。 并行(parallelism)是指同时发生的两个并发事件，具有并发的含义，而并发则不一定并行。 来个比喻：并发和并行的区别就是一个人同时吃三个馒头和三个人同时吃三个馒头。 看了之后，你懂了么？不懂，更晕了。写出这类解释的人，自己也是一知半解，却又把自己脑子里模糊的影像拿出来写成文章，让读者阅毕反而更加疑惑。当然也有可能他确实懂了，但是写出这种文字也不能算负责。至于本文，请相信，一定是准确的，我也尽量做到讲解清晰。 OK，下面进入正题，

一、 Iterator 是什么？ 1、迭代器模式 迭代器模式（ Iterator Pattern ）是一种非常常见的设计模式，这种模式用于顺序访问集合对象的元素，而不需要知道集合对象内部的实现方式。 所以，迭代器模式的优点就是： 简化了聚合类 。无论是增加新的聚合类还是增加迭代器类都会很方便，无须修改原有的代码。 它的优点也导致了它的缺点：由于迭代器模式将存储数据和遍历数据的职责分离，增加新的聚合类时也需要对应增加新的迭代器类，耦合度很高，这在一定程度上增加了系统的复杂性。 2、Iterator 接口 在 Java 中，提供了一个迭代器接口 Iterator ，把在集合对象中元素之间遍历的工作交给迭代器，而不是集合对象本身，迭代器为遍历不同的集合对象提供一个统一的接口。这就是 Java 集合框架中 Iterable 接口位于框架结构最顶层的原因。这其实也就是面向对象的思想。 二、Iterator 的使用 下面我们先看看 Iterator 是如何使用的。 1、Iterator 中的方法 先从 Iterator 接口的源码来分析一下： public interface Iterator < E > { boolean hasNext ( ) ; E next ( ) ; default void remove ( ) { throw new

文章目录 例子一 例子二 例子三 进程与线程 进程和线程的关系 个人理解 异步与多线程 基本概念 深层次理解 多线程和异步操作的异同 异步操作的本质 线程的本质 异步操作的优缺点 多线程的优缺点 适用范围 并发、并行和多线程的关系 小结 例子一 你吃饭吃到一半，电话来了，你一直到吃完了以后才去接，这就说明你不支持并发也不支持并行。 你吃饭吃到一半，电话来了，你 停了下来接了电话，接完后继续吃饭 ，这说明你支持并发。 （不一定是同时的） 你吃饭吃到一半，电话来了，你一边 打电话一边吃饭 ，这说明你支持并行。 例子二 并发是两个队列，使用一台咖啡机，并行是两个队列，使用两台咖啡机。如果串行，一个队列使用一台咖啡机，那么哪怕前面那个人便秘了去厕所呆半天，后面的人也只能死等着他回来才能去接咖啡，这效率无疑是最低的。 例子三 去吃虾滑，一个师傅有2个锅子。师傅同时做经典虾滑和牛肉虾滑，类似于（周伯通左右互搏）是并行。一旦师傅停下一方去做另外一方，那就是并发。 我觉得边吃饭边打电话是一个核心，多台处理器同时处理多个任务是多个核心。应该说并行的判断条件是 同一时间点能处理多个事件 。 进程与线程 1、 进程（Process）是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操作系统结构的基础。在早期面向进程设计的计算机结构中，进程是程序的基本执行实体

本文介绍如何使用C#实现并行执行的流水线（生产者消费者）： 1.流水线示意图 2.实现并行流水线 一、流水线示意图 上图演示了流水线，action1接收input，然后产生结果保存在buffer1中，action2读取buffer1中由action1产生的数据，以此类推指导action4完成产生Output。 以上也是典型的生产者消费者模式。 上面的模式如果使用普通常规的串行执行是很简单的，按部就班按照流程图一步一步执行即可。如果为了提高效率，想使用并行执行，也就是说生产者和消费者同时并行执行，该怎么办么？ 二、实现并行流水线 2.1 代码 class PiplelineDemo { private int seed; public PiplelineDemo() { seed = 10; } public void Action1(BlockingCollection<string> output) { try { for (var i = 0; i < seed; i++) { output.Add(i.ToString());//initialize data to buffer1 } } finally { output.CompleteAdding(); } } public void Action2(BlockingCollection<string> input,

许多有经验的数据库开发或者DBA都曾经头痛于并行查询计划，尤其在较老版本的数据库中（如sqlserver2000、oracle 7、mysql等）。但是随着硬件的提升，尤其是多核处理器的提升，并行处理成为了一个提高大数据处理的高效方案尤其针对OLAP的数据处理起到了很好的作用。 充分高效地利用并行查询需要对调度、查询优化和引擎工作等有一个比较好的了解，但是针对一般场景的应用我们只需要如何常规使用即可，这里也就不深入描述了，感兴趣可以一起讨论。 那么这里我就简单介绍下SQLServer中并行的应用？ 什么是并行? 我们从小就听说过“人多力量大”、“人多好办事”等，其思想核心就是把一个任务分给许多人，这样每个人只需要做很少的事情就能完成整个任务。更重要的是，如果额外的人专门负责分配工作，那么任务的完成时间就可以大幅减少了。 数糖豆 设想你正面对一个装满各式各样糖豆的罐子，并且要求书有多少个。假设你能平均每秒数出五个，需要大于十分钟才能数完这个盒子里的3027个糖豆。 如果你有四个朋友帮助你去做这个任务。你就有了多种策略来安排这个数糖豆任务，那让我们模仿SQLServer 将会采取的策略来完成这个任务。你和4个朋友围坐在一个桌子四周，糖果盒在中心，用勺子从盒子中拿出糖豆分给大家去计数。每个朋友还有一个笔和纸去记录数完的糖豆的而数量。 一旦一个人输完了并且盒子空了，他们就把自己的纸给你