map

某厂面试归来，发现自己落伍了！>>> MyBatis项目中在查询数据库时遇到org.apache.ibatis.builder.IncompleteElementException: Could not find result map java.lang.String。 然后，我就把 sql 语句直接放到数据库工具上查询，可以查询出结果，应该是在使用MyBatis时配置出了问题。 仔细检查了一下，原来由于自己在使用开发工具补全时不小心把 resultType="java.lang.String" 写成了 resultMap=" java.lang.String " ，结果就导致了这个问题。 补充：全面检查一下所有的配置文件，可能会受其它配置文件的影响，我就在上面吃了很大的亏。在当前文件检查了N多遍，重写了N多遍，都不能解决问题。后来把其它文件暂时删除，问题解决了。唉，白白浪费了一天时间浪费了。 来源： oschina 链接： https://my.oschina.net/u/1157906/blog/206076

我们做spark开发 会使用很多spark的高阶函数 所以 今天我就在linux服务上使用scala高阶函数 声明一个List集合： List集合所在的包已经被预定义自动引入，所以此处就不需要在引入包了，这里直接使用List实例化对象，其实用List的object对象的apply方法 我们使用map函数把list中的每个值都乘以3： x表示l中每一个元素，map对l中的每一个元素进行遍历操作，由于List中只有一种类型的元素，所以我们在执行马屁操作的时候可以省略其类型，如下所示： List集合中只有一个参数的时候，我们可以去掉参数中的括号： 为了能保存所有代码，我还是使用IDEA吧 scala中的集合： 集合主要有List、Set、Tuple、Map等 在scala下的org.scala.collection下创建scala类CollectionOperations 在IDEA中创建一个List实例： 我们看一下List代码实现： 源码中说明了其内部是apply的方式来完成实例化的： 使用同样的方式实例化Set： 我们可也看下Set实例化对象的实现： 接下来我们在linux命令行终端中砍下集合的操作，首先看Set： 发现Set中不会存储重复的元素 下面看下Tuple的申明和使用： tuple 访问的时候下标是从1开始的 对于Tuple而言

集合类介绍 LinkedList 类 LinkedList 实现了 List 接口，允许 Null 元素。此外 LinkedList 提供额外的 Get、Remove、Insert 等方法在 LinkedList 的首部或尾部操作数据。这些操作使得 LinkedList 可被用作堆栈（Stack）、队列（Queue）或双向队列（Deque）。请注意 LinkedList 没有同步方法，它不是线程同步的，即如果多个线程同时访问一个 List，则必须自己实现访问同步。一种解决方法是在创建 List 时构造一个同步的 List，方法如 List list = Collections.synchronizedList(new LinkedList(...))； ArrayList 类 ArrayList 实现了可变大小的数组。它允许所有元素，包括 Null。Size、IsEmpty、Get、Set 等方法的运行时间为常数，但是 Add 方法开销为分摊的常数，添加 N 个元素需要 O(N) 的时间，其他的方法运行时间为线性。 每 个 ArrayList 实例都有一个容量（Capacity），用于存储元素的数组的大小，这个容量可随着不断添加新元素而自动增加。当需要插入大量元素时，在插入前可以调用 ensureCapacity 方法来增加 ArrayList 的容量以提高插入效率。和

本文首先针对 Java 集合接口进行了一些介绍，并对这些接口的实现类进行详细描述，包括 LinkedList、ArrayList、Vector、Stack、Hashtable、HashMap、WeakHashMap 等，然后对一些实现类的实现方式和使用经验进行讲解，同时重点介绍 WeakHashMap。希望通过本文介绍，可以让读者对集合的操作方式、注意事项等有一些了解。 在实际的项目开发中会有很多的对象，如何高效、方便地管理对象，成为影响程序性能与可维护性的重要环节。Java 提供了集合框架来解决此类问题，线性表、链表、哈希表等是常用的数据结构，在进行 Java 开发时，JDK 已经为我们提供了一系列相应的类来实现基本的数据结构，所有类都在 java.util 这个包里，清单 1 描述了集合类的关系。 清单 1.集合类之间关系 Collection ├List │├LinkedList │├ArrayList │└Vector │　└Stack └Set Map ├Hashtable ├HashMap └WeakHashMap 本文讲的就是集合框架的使用经验总结，注意，本文所有代码基于 JDK7。 集合接口 Collection 接口 Collection 是最基本的集合接口，一个 Collection 代表一组 Object，即 Collection 的元素（Elements）

Java自带了各种Map类，可归为三种类型： 1.通用Map，用于在应用程序中管理映射，通常在 java.util 程序包中实现 HashMap Hashtable Properties LinkedHashMap IdentityHashMap TreeMap WeakHashMap ConcurrentHashMap 2.专用 Map，您通常不必亲自创建此类 Map，而是通过某些其他类对其进行访问 java.util.jar.Attributes javax.print.attribute.standard.PrinterStateReasons java.security.Provider java.awt.RenderingHints javax.swing.UIDefaults 3.一个用于帮助实现您自己的 Map 类的抽象类 AbstractMap 我们今天主要来认识java.util包中的HashMap、Hashtable、LinkedHashMap、TreeMap。 Hashmap： 最常用的Map 根据键的HashCode值存储数据，根据键可以直接获取它的值，具有很快的访问速度 遍历时取得数据的顺序是完全随机的 最多只允许一条记录的键为Null，允许多条记录的值为 Null 不支持线程的同步，即任一时刻可以有多个线程同时写HashMap，可能会导致数据的不一致

MapReduce的设计灵感来自于函数式编程，这里不打算提MapReduce，就拿python中的map()函数来学习一下。 文档中的介绍在这里： map( function , iterable , ... ) Apply function to every item of iterable and return a list of the results. If additional iterable arguments are passed, function must take that many arguments and is applied to the items from all iterables in parallel. If one iterable is shorter than another it is assumed to be extended with None items. If function is None , the identity function is assumed; if there are multiple arguments, map() returns a list consisting of tuples containing the corresponding items from all iterables (a

Application: Application是创建了SparkContext实例对象的spark用户，包含了Driver程序： Spark-shell是一个应用程序，因为spark-shell在启动的时候创建了一个SparkContext对象，其名称为sc: Job: 和Spark的action相对应，每一个action例如count、saveAsTextFile等都会对应一个job实例，该job实例包含多任务的并行计算。 Driver Program： 运行main函数并且创建SparkContext实例的程序 Cluster Manager： 集群资源的管理外部服务，在spark上现在有standalone、yarn、mesos等三种集群资源管理器，spark自带的standalone模式能够满足大部分的spark计算环境对集群资源管理的需求，基本上只有在集群中运行多套计算框架的时候才考虑yarn和mesos Worker Node： 集群中可以运行应用代码的工作节点，相当于Hadoop的slave节点 Executor： 在一个Worker Node上为应用启动的工作进程，在进程中赋值任务的运行，并且负责将数据存放在内存或磁盘上，必须注意的是，每个应用在一个Worker Node上只会有一个Executor，在Executor内部通过多线程的方式并发处理应用的任务。