堆内存

　 Java 把内存划分成两种：一种是栈内存，一种是堆内存。 在Java 中所有对象的存储空间都是在堆中分配的，但是这个对象的引用却是在堆栈中分配 , 也就是说在建立一个对象时从两个地方都分配内存，在堆中分配的内存实际建立这个对象，而在堆栈中分配的内存只是一个指向这个堆对象的指针 ( 引用 ) 而已。 　　当在一段代码块定义一个变量时， Java 就在栈中为这个变量分配内存空间，当超过变量的作用域后， Java 会自动释放掉为该变量所分配的内存空间，该内存空间可以立即被另作他用。 　　堆内存用来存放由 new 创建的对象和数组。 　　在堆中分配的内存，由 Java 虚拟机的自动垃圾回收器来管理。 　　在堆中产生了一个数组或对象后，还可以在栈中定义一个特殊的变量，让栈中这个变量的取值等于数组或对象在堆内存中的首地址，栈中的这个变量就成了 数组或对象的引用变量 。 　　引用变量就相当于是为数组或对象起的一个名称，以后就可以在程序中使用栈中的引用变量来访问堆中的数组或对象。 　　具体的说： 　　栈与堆都是 Java 用来在 Ram 中存放数据的地方。与 C++ 不同， Java 自动管理栈和堆，程序员不能直接地设置栈或堆。 　　 Java 的堆是一个运行时数据区 , 类的 ( 对象从中分配空间。这些对象通过 new 、 newarray 、 anewarray 和

什么时候需要调节Executor的堆外内存大小？ 当出现一下异常时： shuffle file cannot find，executor lost、task lost，out of memory 出现这种问题的现象大致有这么两种情况： Executor挂掉了，对应的Executor上面的block manager也挂掉了，找不到对应的shuffle map output文件，Reducer端不能够拉取数据 Executor并没有挂掉，而是在拉取数据的过程出现了问题。 上述情况下，就可以去考虑调节一下executor的堆外内存。也许就可以避免报错；此外，有时，堆外内存调节的比较大的时候，对于性能来说，也会带来一定的提升。这个executor跑着跑着，突然内存不足了，堆外内存不足了，可能会OOM，挂掉。block manager也没有了，数据也丢失掉了。 如果此时，stage0的executor挂了，BlockManager也没有了；此时，stage1的executor的task，虽然通过 Driver的MapOutputTrakcer获取到了自己数据的地址；但是实际上去找对方的BlockManager获取数据的 时候，是获取不到的。 此时，就会在spark-submit运行作业（jar），client（standalone client、yarn client）

类型基础及背后的工作原理 数据在内存中的分配与传递 值类型和引用类型它们在内存分配与传递上的区别 内存分配 首先要了解一下内存中栈和堆的概念。 栈（Stack） ##栈是一种先进后出的内存结构。 方法的调用追踪就是在栈上完成的。比如我们有一个main方法（程序入口）， 在main方法中会调用一个GetPoint的方法。在线程执行时，会将main方法压入栈底（包括编译好的方法指令，参数，和方法内部变量），然后再将GetPoint的方法压入栈底，GetPoint中没有调用其它方法，压栈完毕。出栈顺序是先进后出，也就是后进先出，栈顶的方法GetPoint先执行完毕，然后出栈，所占内存清空，接着main方法执行后出栈，所占内存清空。 //示意图：自己脑补吧... 从上面方法的压栈出栈中可以看出： ##栈只能在一端对数据进行操作，也就是栈顶端进行操作。’ ##栈也是一种内存自我管理的结构，压栈自动分配内存，出栈自动清空所占内存。 另外值得注意的两点： ##栈中的内存不能动态请求，只能为大小确定的数据分配内存，灵活性不高，但是栈的执行效率很高。 ##栈的可用空间并不大，所以我们在操作分配到栈上的数据时要注意数据的大小带来的影响。 堆（Heap） ##堆与栈有所区别，堆在C#中用于存储实实例对象，能存储大量数据，而且堆能够动态分配存储空间。 ##相比栈只能在一端操作，堆中的数据可以随意存取。 #

OutOfMemoryError系列（1）: Java heap space https://blog.csdn.net/renfufei/article/details/76350794 这是本系列的第一篇文章, 相关文章列表: OutOfMemoryError系列（1）: Java heap space OutOfMemoryError系列（2）: GC overhead limit exceeded OutOfMemoryError系列（3）: Permgen space OutOfMemoryError系列（4）: Metaspace 每个Java程序都只能使用一定量的内存, 这种限制是由JVM的启动参数决定的。而更复杂的情况在于, Java程序的内存分为两部分: 堆内存(Heap space)和 永久代(Permanent Generation, 简称 Permgen): 这两个区域的最大内存大小, 由JVM启动参数 -Xmx 和 -XX:MaxPermSize 指定. 如果没有明确指定, 则根据平台类型(OS版本+ JVM版本)和物理内存的大小来确定。 假如在创建新的对象时, 堆内存中的空间不足以存放新创建的对象, 就会引发 java.lang.OutOfMemoryError: Java heap space 错误。 不管机器上还没有空闲的物理内存,

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 这篇短文主要是想告诉你如果给Oracle JVM配置超过32G的堆会发生什么事情。默认情况下， 堆大小在32G以下的话JVM中的引用会占用4个字节 。这是JVM在启动的时候就已经决定了的。如果你去掉了-XX:-UseCompressedOops选项的话，当然也可以在较小的堆上使用8字节的引用（但在生产系统中这么做是毫无意义的！）。 一旦堆超过了32G，你就进入到64位的世界里了，因此对象引用就只能是8字节而非4字节了。正如Scott Oaks在他的 Java性能:终极指南 一书中所说的（234到236页，这里有我对该书的一个 评价 )，Java程序的堆中平均会有20%的空间是被对象引用占据了。也就是说，如果堆的配置是介于Xmx32G到Xmx37G——Xmx38G之间的话，实际上是减少了应用程序的可用堆的大小（当然了，具体的数字要取决于你的程序）。对于很多人而言，增加了额外的内存是为了能让程序可以多处理一些数据，而这样的结果会令他感到意外。 测试——生成LinkedList 我决定测试一下最坏的场景——生成一个值递增的LinkedList。这个测试非常有意思：看一下将2亿个Integer插入到LinkedList中需要多大的堆空间。这个工作就留给读者来完成了:-) 测试的代码非常简单： public class

1、 栈（stack） 和 堆（heap） 　　 stack 为自动分配的内存空间，它由系统自动释放；而 heap 则是动态分配的内存，大小不定也不会自动释放。　　　　　　　 2、基本类型和引用类型 　　 基本类型： 存放在栈内存中的简单数据段，数据大小确定，内存空间大小可以分配。 　　5种基本数据类型有 Undefined、Null、Boolean、Number 和 String ，它们是直接按值存放的，所以可以直接访问。 　　 引用类型： 存放在堆内存中的对象，变量实际保存的是一个指针，这个指针指向另一个位置。每个空间大小不一样，要根据情况开进行特定的分配。 　　当我们需要访问引用类型（如 对象，数组，函数 等）的值时，首先从栈中获得该对象的地址指针，然后再从堆内存中取得所需的数据。 3、传值与传址 　　前面之所以要说明什么是内存中的堆、栈以及变量类型，实际上是为下文服务的，就是为了更好的理解什么是“浅拷贝”和“深拷贝”。 　　基本类型与引用类型最大的区别实际就是 传值与传址的区别 。测试用例： 1 var a = [1,2,3,4,5]; 2 var b = a; 3 var c = a[0]; 4 alert(b);//1,2,3,4,5 5 alert(c);//1 6 //改变数值 7 b[4] = 6; 8 c = 7; 9 alert(a[4]);//6 10

1. 栈（stack） 　　在Java中， 栈（stack） 是由 编译器自动分配和释放的一块内存区域 ，主要用于存放一些基本类型（如int、float等）的变量、指令代码、常量及对象句柄（也就是对象的引用地址）。 　　栈内存实际上就是满足 先进后出 的性质的数学或数据结构,栈内存的操作方式类似于数据结构中的栈（仅在表尾进行插入或删除操作的 线性表 ）。 　　 栈的优势 在于，它的存取速度比较快，仅次于寄存器，栈中的数据还可以共享,当超过变量的作用域后，Java会自动释放掉为该变量所分配的内存空间。 　　 缺点 表现在，存在栈中的数据大小与生存期必须是 确定的 ，缺乏灵活性。 2.堆（heap） 　　 堆（heap） 是一个程序 运行动态分配 的内存区域，堆内存实际上指的就是 优先队列 的一种数据结构. 　　在Java中，构建对象时所需要的内存从堆中分配。这些对象通过new指令“显式”建立，这种分配方式类似于数据结构中的 链表 。 　　堆内存在使用完毕后，是由垃圾回收（Garbage Collection,GC）器“隐式”回收的。 　　 堆的优势 是在于动态地分配内存大小，可以“按需分配”，其生存期也不必事先告诉编译器，在使用完毕后，Java的垃圾收集器会自动收走这些不再使用的内存块。 　　缺点 为，由于要在运动时才动态分配内存，相比于栈内存，它的存取速 度较慢 。 总结: 　　1

假如我们需要用到1000个相同类型的数据，肯定不可能创建1000个变量， 这样既不方便，也不直观，也不便于我们使用。这时就需要用到数组。 一、数组的声明与使用 1 public class Array { 2 public static void main(String[] args) { 3 int a[] = null; //数据类型 数组名 = null;声明一维数组 4 a = new int[10]; //数组名 = new 数据类型[长度];分配内存给数组。 5 } 6 7 } 首先第一句，声明了数组a，此时栈内存中就分配了一块内存空间给a,此时将null给a代表不指向任何实例（此时a只在栈内存中进行了创建，但是它没有指向堆内存中任何对象实例，也没有指向堆内存），所以不能使用（引用）具体的实例数据。 第二句，用new在堆内存中创建了十个int类型的存储空间，然后把这个内存空间的地址给a。 此时堆内存中就可以存放10个int型的数据，栈内存中的a存放了堆内存的地址值。这时可以通过数组a引用堆内存的内容。 二、数组元素的表示方法 数组用下标区别元素，下标从0到n-1; 例如创建的a数组长度为10，即下标从0~ 9； a[10] 并不存在，引用a[10]会出现错误，下标只能到a[9]； public class Array { public static void main

Java中的内存划分 Java程序在运行时，需要在内存中分配空间。为了提高运行效率，就对数据进行了不同的空间划分。因为每一片区域都有特定的数据处理方式和内存管理方式。 具体分为5种内存空间： 程序计数器：保证线程切换后能恢复到原来的执行位置。 虚拟机栈：（栈内存）为虚拟机执行java方法服务，方法被调用时，创建栈帧- 本地方法栈：为虚拟机执行使用到的Native方法服务 堆内存：存放所有new出来的东西 方法区：存储被虚拟机加载的类信息，常量，静态常量，静态方法等。 运行时常量池（方法区的一部分） GC对他们的回收： 内存区域中的程序计数器、虚拟机栈、本地方法栈这3个区域随着线程而生，线程而灭；栈中的栈帧随着方法的进入和退出而有条件的执行出栈和入栈的操作。每个栈帧中分配多少内存基本是在类结构确定下来时就已知的。在这个区域不需要过多的考虑回收的问题，因为方法结束或者线程结束时，内存自然就跟着回收了。 GC回收的主要对象：Java堆和方法区 一个接口中的多个实现类需要的内存可能不同，一个方法中的多个分支需要的内存也可能不一样，我们只有在程序处于运行期间时才能知道会创建哪些对象，这部分内存的分配和回收都是动态的，GC关注的也是这部分内存。 1.程序计数器：（线程私有） 每隔线程拥有一个程序计数器，在线程创建时创建，指向吓一跳指令的地址 执行本地方法时，其值为undefined。

有读者跟我说，喜欢看我的文章，说很容易读，我确实在易读性上花费的心思不亚于在内容上。因为我不喜欢一上来就堆很多东西，而且把简单的东西搞得复杂人人都会，但是把复杂的东西讲的简单，确实需要非常多的思考。 不是线程的安全 面试官问：“什么是线程安全”，如果你不能很好的回答，那就请往下看吧。 论语中有句话叫“学而优则仕”，相信很多人都觉得是“学习好了可以做官”。然而，这样理解却是错的。切记望文生义。 同理，“线程安全”也不是指线程的安全，而是指内存的安全。为什么如此说呢？这和操作系统有关。 目前主流操作系统都是多任务的，即多个进程同时运行。为了保证安全，每个进程只能访问分配给自己的内存空间，而不能访问别的进程的，这是由操作系统保障的。 在每个进程的内存空间中都会有一块特殊的公共区域，通常称为堆（内存）。进程内的所有线程都可以访问到该区域，这就是造成问题的潜在原因。 假设某个线程把数据处理到一半，觉得很累，就去休息了一会，回来准备接着处理，却发现数据已经被修改了，不是自己离开时的样子了。可能被其它线程修改了。 比如把你住的小区看作一个进程，小区里的道路/绿化等就属于公共区域。你拿1万块钱往地上一扔，就回家睡觉去了。睡醒后你打算去把它捡回来，发现钱已经不见了。可能被别人拿走了。 因为公共区域人来人往，你放的东西在没有看管措施时，一定是不安全的。内存中的情况亦然如此。 所以线程安全指的是