虚拟内存

一、概述 vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。首先我们查看下帮助。如下图所示： 使用语法: vmstat [-V] [-n] [delay [count]] -V：显示vmstat版本信息。 -n：只在开始时显示一次各字段名称。 -a：显示活跃和非活跃内存 -d：显示磁盘相关统计信息。 -p：显示指定磁盘分区统计信息 -s：显示内存相关统计信息及多种系统活动数量。 -m：显示slabinfo -S：使用指定单位显示。参数有 k 、K 、m 、M ，分别代表1000、1024、1000000、1048576字节（byte）。默认单位为K（1024 bytes） -f：显示从系统启动至今的fork数量 。 delay：刷新时间间隔。 count：刷新次数。如果不指定刷新次数，但指定了刷新时间间隔，这时刷新次数为无穷。 1.1、虚拟内存原理 在系统中运行的每个进程都需要使用到内存，但不是每个进程都需要每时每刻使用系统分配的内存空间。当系统运行所需内存超过实际的物理内存，内核会释放某些进程所占用但未使用的部分或所有物理内存，将这部分资料存储在磁盘上直到进程下一次调用，并将释放出的内存提供给有需要的进程使用。 在Linux内存管理中，主要是通过“调页Paging”和

想必在linux上写过程序的同学都有分析进程占用多少内存的经历，或者被问到这样的问题——你的程序在运行时占用了多少内存（物理内存）？通常我们可以通过top命令查看进程占用了多少内存。这里我们可以看到VIRT、RES和SHR三个重要的指标，他们分别代表什么意思呢？这是本文需要跟大家一起探讨的问题。当然如果更加深入一点，你可能会问进程所占用的那些物理内存都用在了哪些地方？这时候top命令可能不能给到你你所想要的答案了，不过我们可以分析proc文件系统提供的smaps文件，这个文件详尽地列出了当前进程所占用物理内存的使用情况。 这篇blog总共分为三个部分。第一部分简要阐述虚拟内存和驻留内存这两个重要的概念；第二部分解释top命令中VIRT、RES以及SHR三个参数的实际参考意义；最后一部分向大家介绍一下smaps文件的格式，通过分析smaps文件我们可以详细了解进程物理内存的使用情况，比如mmap文件占用了多少空间、动态内存开辟消耗了多少空间、函数调用栈消耗了多少空间等等。 关于内存的两个概念 要理解top命令关于内存使用情况的输出，我们必须首先搞清楚虚拟内存（Virtual Memory）和驻留内存（Resident Memory）两个概念。 虚拟内存 首先需要强调的是虚拟内存不同于物理内存，虽然两者都包含内存字眼但是它们属于两个不同层面的概念

本文读者： 遭遇应用启动速度慢问题的朋友 希望保持应用启动速度快的朋友 对操作系统知识感兴趣的朋友 内容概览 理论部分 Mach-O 相关知识 虚拟内存相关知识 Mach-O 映像加载过程 从 exec() 到 main() 实践部分 如何度量 优化启动时间 理论部分 Mach-O 相关知识 Mach-O 术语 文件类型： 可执行文件，应用程序主要的二进制文件 Dylib，动态库（也叫做 DSO 或 DLL） Bundle，不可以被链接的 Dylib，只可以进行 dlopen() ，比如：插件 映像：一个可执行文件 或者 dylib 或者 bundle。 框架：带有目录的 dylib ，其目录中包含资源和头文件。 Mach-O Image File 文件被分割为段(segment)，并采用大写命名 所有段的大小都是页大小的整数倍（arm64 架构为16KB，其他架构是4KB） 组是段内的子范围，并采用小写命名 常见的段： __TEXT，包含头文件、代码和只读常量(比如C语言字符串常量) __DATA，包含所有读写内容：全局变量、静态变量等 __LINKEDIT，包含如何加载程序的元数据（方法名和地址等信息） Mach-O Universal Files Fat Header 占用一页的大小 列出所有支持的架构和其对应的偏移量 你可能比较好奇，为什么段的大小是页的整数倍？ 为什么

进程在竞争 CPU 的时候并没有真正运行，为什么还会导致系统的负载升高呢？CPU 上下文切换就是罪魁祸首。 我们都知道，Linux 是一个多任务操作系统，它支持远大于 CPU 数量的任务同时运行。当然，这些任务实际上并不是真的在同时运行，而是因为系统在很短的时间内，将 CPU 轮流分配给它们，造成多任务同时运行的错觉。 而在每个任务运行前，CPU 都需要知道任务从哪里加载、又从哪里开始运行，也就是说，需要系统事先帮它设置好CPU 寄存器和程序计数器（Program Counter，PC）。 CPU 寄存器，是 CPU 内置的容量小、但速度极快的内存。而程序计数器，则是用来存储 CPU 正在执行的指令位置、或者即将执行的下一条指令位置。它们都是 CPU 在运行任何任务前，必须的依赖环境，因此也被叫做 CPU 上下文 。 知道了什么是 CPU 上下文，我想你也很容易理解 CPU 上下文切换 。 CPU 上下文切换，就是先把前一个任务的 CPU 上下文（也就是 CPU 寄存器和程序计数器）保存起来， 然后加载新任务的上下文到这些寄存器和程序计数器，最后再跳转到程序计数器所指的新位置，运行新任务。 而这些保存下来的上下文，会存储在系统内核中，并在任务重新调度执行时再次加载进来。这样就能保证任务原来的状态不受影响，让任务看起来还是连续运行。 根据任务的不同 ，CPU

原创转载请注明出处： https://www.cnblogs.com/agilestyle/p/11518557.html CPU 的上下文切换场景 Linux 是一个多任务操作系统，它支持远大于 CPU 数量的任务同时运行。当然，这些任务实际上并不是真的在同时运行，而是因为系统在很短的时间内，将 CPU 轮流分配给它们，造成多任务同时运行的错觉。 而在每个任务运行前，CPU 都需要知道任务从哪里加载、又从哪里开始运行，也就是说，需要系统事先帮它设置好 CPU 寄存器 和 程序计数器（Program Counter，PC） 。 CPU 寄存器 ： 是 CPU 内置的容量小、但速度极快的内存。 程序计数器 ： 是用来存储 CPU 正在执行的指令位置、或者即将执行的下一条指令位置。 它们都是 CPU 在运行任何任务前，必须的依赖环境，因此也被叫做 CPU 上下文 。 CPU 上下文切换，就是先把前一个任务的 CPU 上下文（也就是 CPU 寄存器和程序计数器）保存起来，然后加载新任务的上下文到这些寄存器和程序计数器，最后再跳转到程序计数器所指的新位置，运行新任务。而这些保存下来的上下文，会存储在系统内核中，并在任务重新调度执行时再次加载进来。这样就能保证任务原来的状态不受影响，让任务看起来还是连续运行。 根据任务的不同，CPU 的上下文切换就可以分为几个不同的场景， 进程上下文切换

如何进行内存管理 为了让每个进程认为 独占 地使用内存，并且让每个进程看到的内存是 一致 的，操作系统对物理内存、磁盘进行了 抽象 ，抽象出 虚拟内存 。并且把虚拟内存、物理内存以相同固定大小的 页 进行切分管理（ 分页 ），虚拟内存中叫页，物理内存中的叫页帧。 每个进程虚拟地址空间是独立的。用户访问的是虚拟内存的地址，即虚拟地址。需要通过 CPU 芯片上的 内存管理单元 MMU 硬件根据页表 翻译 成物理地址，才能真正访问内存。 页表 ：每个进程都有它的独立的页表（放在内存里），用来存对虚拟页、物理页的 映射 。页表可以有多级页表，以时间换取空间（实际上，多级页表的地址翻译，并不比单级页表慢很多）。 为什么用分页机制 如果直接按一个个程序加载到内存，会出现内存 碎片 。 后来出现 分段 机制，按程序的各段来存储，从而减少碎片，但是还是有很多。 所以引出分页，把程序分成更小的页（一般大小为 4KB ）来管理内存。分得更小，会增加负荷，但实际上利大于弊。 硬件关系 通过虚拟地址 访问 数据： MMU 先通过它里面的 TLB 缓存查询，如果没有，则去内存中的 页表 进行查询。成功翻译成物理地址后，访问 一级缓存 获取数据。如果没有则访问 二级缓存 （可能还有三级缓存）。还是没有就访问 内存 。 物理内存 不够 时： 将不用的页面换出到磁盘中的 swap 分区 里。 内存空间布局

Container Container就是一个yarn的java进程，在Mapreduce中的AM，MapTask，ReduceTask都作为Container在Yarn的框架上执行，你可以在RM的网页上[8088端口]看到Container的状态。 基础 Yarn的ResourceManger(简称RM)通过逻辑上的队列分配内存，CPU等资源给application，默认情况下RM允许最大AM申请Container资源为8192MB("yarn.scheduler.maximum-allocation-mb")，默认情况下的最小分配资源为1024M("yarn.scheduler.minimum-allocation-mb")，AM只能以增量("yarn.scheduler.minimum-allocation-mb")和不会超过("yarn.scheduler.maximum-allocation-mb")的值去向RM申请资源，AM负责将("mapreduce.map.memory.mb")和("mapreduce.reduce.memory.mb")的值规整到能被("yarn.scheduler.minimum-allocation-mb")整除，RM会拒绝申请内存超过8192MB和不能被1024MB整除的资源请求[内存增量]。 1 yarn-site.xml设置

在linux下，使用top，vmstat,free等命令查看系统或者进程的内存使用情况时，经常看到buff/cache memeory，swap，avail Mem等，他们都代表什么意思呢？这篇文章将来聊一聊Linux下的内存管理并解答这个问题。 讨论Linux下的内存管理其实就是讨论Linux下虚拟内存的实现方式，本人不是内核专家，所以这篇文章只会介绍一些概念性的东西，不会深入实现细节，有些地方描述的有可能不精确。 在早些时候，物理内存比较有限，人们希望程序可以使用的内存空间能超过实际物理内存，于是出现了虚拟内存的概念，不过随着时间的推移，虚拟内存的意义已经远远的超过了最初的想法。 1、虚拟内存 虚拟内存是Linux管理内存的一种技术。它使得每个应用程序都认为自己拥有独立且连续的可用的内存空间（一段连续完整的地址空间），而实际上，它通常是被映射到多个物理内存段，还有部分暂时存储在外部磁盘存储器上，在需要时再加载到内存中来。 每个进程所能使用的虚拟地址大小和CPU位数有关，在32位的系统上，虚拟地址空间大小是4G，在64位系统上，是2^64=？（算不过来了）。而实际的物理内存可能远远小于虚拟地址空间的大小。 虚拟地址和进程息息相关，不同进程里的同一个虚拟地址指向的物理地址不一定一样，所以离开进程谈虚拟地址没有任何意义。 注意 ： 网上很多文章将虚拟内存等同于交换空间

C的内存分配 32bitCPU可寻址4G线性空间, 每个进程都有各自独立的4G逻辑地址, 其中0~3G是用户态空间, 3~4G是内核空间, 不同进程相同的逻辑地址会映射到不同的物理地址中. 其逻辑地址其划分如下: 正文段(code segment/text segment, .text段): 或称代码段, 通常是用来存放程序执行代码的一块内存区域. 这部分区域的大小在程序运行前就已经确定, 并且内存区域通常属于只读, 某些架构也允许代码段为可写, 即允许修改程序. 在代码段中, 也有可能包含一些只读的常数变量, 例如字符串常量等 . CPU执行的机器指令部分. ( 存放函数体的二进制代码 . ) 只读数据段(RO data, .rodata)：只读数据段是程序使用的一些不会被改变的数据, 使用这些数据的方式类似查表式的操作, 由于这些变量不需要修改, 因此只需放在只读存储器中. 已初始化读写数据段(data segment, .data段)：通常是用来存放程序中已初始化的全局变量的一块内存区域. 数据段属于静态内存分配. 常量字符串就是放在这里的, 程序结束后由系统释放(rodata—read only data). 已初始化读写数据段(RW data, .data)：已初始化数据是在程序中声明, 并且具有初值的变量, 这些变量需要占用存储器空间,

1.物理内存的概念，虚拟内存的概念？ 物理内存，真实的插在板子上的内存是多大就是多大了。而对CPU来说，物理内存就是CPU的地址线可以直接进行寻址的内存空间大小。比如8086只有20根地址线，那么它的寻址空间就是1MB，我们就说8086能支持1MB的物理内存，及时我们安装了128M的内存条在板子上，我们也只能说8086拥有1MB的物理内存空间。同理我们现在大部分使用的是32位的机子，32位的386以上CPU就可以支持最大4GB的物理内存空间了。 2.虚拟内存和物理内存的区别？ 正在运行的一个进程，他所需的内存是有可能大于内存条容量之和的，比如你的内存条是256M，你的程序却要创建一个2G的数据区，那么不是所有数据都能一起加载到内存（物理内存）中，势必有一部分数据要放到其他介质中（比如硬盘），待进程需要访问那部分数据时，在通过调度进入物理内存。所以，虚拟内存是进程运行时所有内存空间的总和，并且可能有一部分不在物理内存中，而物理内存就是我们平时所了解的内存条。有的地方呢，也叫这个虚拟内存为内存交换区。 关键的是不要把虚拟内存跟真实的插在主板上的内存条相挂钩，虚拟内存它是“虚拟的”不存在，假的啦，它只是内存管理的一种抽象！ 3.什么是虚拟内存地址和物理内存地址？ 假设你的计算机是32位，那么它的地址总线是32位的，也就是它可以寻址0~0xFFFFFFFF（4G）的地址空间