为什么需要虚拟内存？

为了在多进程环境下，使得进程之间的内存地址不受影响，相互隔离，于是操作系统就为每个进程独立分配一套虚拟地址空间，每个程序只关心自己的虚拟地址就可以，实际上大家的虚拟地址都是一样的，但分布到物理地址内存是不一样的。作为程序，也不用关心物理地址的事情。
虚拟内存到物理内存的映射是由操作系统完成的。进程持有的虚拟地址会通过 CPU 芯片中的内存管理单元（MMU）的映射关系，来转换变成物理地址，然后再通过物理地址访问内存

操作系统如何管理虚拟内存和物理内存呢

那么操作系统是如何管理虚拟内存和物理内存的呢，主要有两种：

  • 内存分段

  • 内存分页

    内存分段

    程序是由若干个逻辑分段组成的，如可由代码分段、数据分段、栈段、堆段组成。不同的段是有不同的属性的，所以就用分段（Segmentation）的形式把这些段分离出来。
    分段模式下，虚拟内存由段选择因子和段内偏移量组成
    image.png

  • 段选择子：保存在段寄存器中。段号是段表的索引，段表里面保存的是段的基地址、段的界限和特权等级。

  • 段内偏移量：介于0与段界限之间，如果合法的话，物理内存地址就等于段基地址加上段内偏移量。

分段办法的不足之处：

  1. 内存碎片的问题
  • 外部内存碎片：产生了多个不连续的小物理内存，导致新程序无法被装载
  • 内部内存碎片：程序所有的内存都被装载到了物理内存，但是这个程序有部分的内存可能并不是很常使用，这也会导致内存的浪费
  1. 内存交换效率低

可以解决外部内存碎片的问题，原理就是将内存写到磁盘上，再从磁盘读回到连续分配的内存中。
在linux当中，这个内存交换空间就是我们常看到的swap空间。
对于多进程系统来说，内存碎片的产生是很容易的，由于磁盘访问速度很慢，所以内存交换的效率特别低。

内存分页

分页是将整个虚拟和物理内存空间切成一段段固定尺寸的大小。我们把这个尺寸固定的内存空间成为页。在linux中，每一页为4KB。虚拟内存和物理内存通过页表来映射。
image.png

页表被存储在内存中，内存管理单元MMU将虚拟内存转换为物理内存地址。而当进程访问的虚拟地址在页表中查不到时，系统会产生一个缺页异常，进入系统内核空间分配物理内存、更新进程页表，最后再返回用户空间，恢复进程的运行。

分页管理如何解决内存碎片和内存交换效率低的问题？

由于内存空间都是预先划分好的，也就不会像分段会产生间隙非常小的内存，这正是分段会产生内存碎片的原因。而采用了分页，那么释放的内存都是以页为单位释放的，也就不会产生无法给进程使用的小内存。
如果内存空间不够，操作系统会把其他正在运行的进程中的「最近没被使用」的内存页面给释放掉，也就是暂时写在硬盘上，称为换出（Swap Out）。一旦需要的时候，再加载进来，称为换入（Swap In）。所以，一次性写入磁盘的也只有少数的一个页或者几个页，不会花太多时间，内存交换的效率就相对比较高。
分页方式下，只有在程序运行中，需要用到对应虚拟内存页里面的指令和数据时，再加载到物理内存里面去。

分页机制下，虚拟内存和物理地址如何做映射
image.png

分页机制下，虚拟地址由页号和页内偏移组成。同样，页号是页表的索引，页表包含了对应
虚拟页号的物理基地址。物理地址就是物理基地址+页内偏移量。

简单分页有什么缺陷呢？

在 32 位的环境下，虚拟地址空间共有 4GB，假设一个页的大小是 4KB（2^12），那么就需要大约 100 万 （2^20） 个页，每个「页表项」需要 4 个字节大小来存储，那么整个 4GB 空间的映射就需要有 4MB 的内存来存储页表。
多进程的环境下，如果是100 个进程的话，就需要 400MB 的内存来存储页表，这是非常大的内存了，更别说 64 位的环境了。

多级页表

image.png
分了二级页号，映射4GB虚拟地址需要4KB（一级页号）+ 4MB（二级页号），这样需要的空间岂不是更大了？
类似于计算机组成原理的局部性原理
如果使用了二级分页，一级页表就可以覆盖整个 4GB 虚拟地址空间，但如果某个一级页表的页表项没有被用到，也就不需要创建这个页表项对应的二级页表了，即可以在需要时才创建二级页表。做个简单的计算，假设只有 20% 的一级页表项被用到了，那么页表占用的内存空间就只有 4KB（一级页表） + 20% * 4MB（二级页表）= 0.804MB，这对比单级页表的 4MB 是不是一个巨大的节约？
对于 64 位的系统，两级分页肯定不够了，就变成了四级目录，分别是：

  • 全局页目录项 PGD（Page Global Directory）；
  • 上层页目录项 PUD（Page Upper Directory）；
  • 中间页目录项 PMD（Page Middle Directory）；

  • 页表项 PTE（Page Table Entry）；

    如何减少多级目录造成的性能影响

    程序是有局部性的，即在一段时间内，整个程序的执行仅限于程序中的某一部分。相应地，执行所访问的存储空间也局限于某个内存区域。
    我们就可以利用这一特性，把最常访问的几个页表项存储到访问速度更快的硬件，于是计算机科学家们，就在 CPU 芯片中，加入了一个专门存放程序最常访问的页表项的 Cache，这个 Cache 就是 TLB（Translation Lookaside Buffer） ，通常称为页表缓存、转址旁路缓存、快表等。TLB的缓存命中率是比较高的。
    image.png

    段页式内存管理

    段页式内存管理实现的方式：

  • 先将程序划分为多个有逻辑意义的段，也就是前面提到的分段机制；

  • 接着再把每个段划分为多个页，也就是对分段划分出来的连续空间，再划分固定大小的页；

这样，地址结构就由段号、段内页号和页内位移三部分组成
image.png
段页式地址变换中要得到物理地址须经过三次内存访问：

  • 第一次访问段表，得到页表起始地址；
  • 第二次访问页表，得到物理页号；
  • 第三次将物理页号与页内位移组合，得到物理地址。

可用软、硬件相结合的方法实现段页式地址变换，这样虽然增加了硬件成本和系统开销，但提高了内存的利用率。

Linux的内存管理

Linux 内存主要采用的是页式内存管理，但同时也不可避免地涉及了段机制。
Linux 系统中的每个段都是从 0 地址开始的整个 4GB 虚拟空间（32 位环境下），也就是所有的段的起始地址都是一样的。这意味着，Linux 系统中的代码，包括操作系统本身的代码和应用程序代码，所面对的地址空间都是线性地址空间（虚拟地址），这种做法相当于屏蔽了处理器中的逻辑地址概念，段只被用于访问控制和内存保护。
在 Linux 操作系统中，虚拟地址空间的内部又被分为内核空间和用户空间两部分，不同位数的系统，地址空间的范围也不同。比如最常见的 32 位和 64 位系统，如下所示：
image.png
虽然每个进程都各自有独立的虚拟内存，但是每个虚拟内存中的内核地址，其实关联的都是相同的物理内存。这样，进程切换到内核态后，就可以很方便地访问内核空间内存。
image.png
用户空间分布情况：
image.png
通过这张图你可以看到，用户空间内存，从低到高分别是 6 种不同的内存段：

  • 程序文件段（.text），包括二进制可执行代码；
  • 已初始化数据段（.data），包括静态常量；
  • 未初始化数据段（.bss），包括未初始化的静态变量；
  • 堆段，包括动态分配的内存，从低地址开始向上增长；
  • 文件映射段，包括动态库、共享内存等，从低地址开始向上增长（跟硬件和内核版本有关(opens new window)）；
  • 栈段，包括局部变量和函数调用的上下文等。栈的大小是固定的，一般是 8 MB。当然系统也提供了参数，以便我们自定义大小；

在这 7 个内存段中，堆和文件映射段的内存是动态分配的。比如说，使用 C 标准库的 malloc() 或者 mmap() ，就可以分别在堆和文件映射段动态分配内存。