作者|daydreamer在互联网服务中，经常使用C++构建高性能、高并发、高流量、低延迟的后端服务。如何合理分配内存以满足系统的高性能需求是一个高频且重要的课题，并且由于内存本身的特点和实际问题的复杂性，综合了很多问题。我们可以将内存分为多种类型。从内存申请大小来看：小对象分配：小于4倍内存页大小的内存分配，在4KiB页大小的情况下，<16KiB算作小对象分配；largeobjectallocation:内存分配大于等于内存页大小的4倍，在4KiB页大小的情况下，>=16KiB算作一个大对象分配。从一块内存的持有时间来看：后端在一个request甚至更短的时间内请求任意时间窗口申请和释放内存。内存的持有和更新几乎和应用进程一样长。内存的持有和更新是在一个进程死后的一段时间内，进程申请的有意义的内存持有和释放当然可以根据内存申请和释放的频率，以及读取的频率进一步分类和写作。内存管理服务于应用系统，目的是帮助系统更好的解决瓶颈问题。例如，对于“如何降低后端响应的延迟，提高稳定性”，内存管理可能会考虑：处理内存的并发读写（频繁读取或频繁写入）减少响应时间和CPU消耗池化和复用ofmemoryattheapplicationlayer应用到系统的内存块的大小和内存碎片每个问题都可能是一个比较大的题目。本文是系列文章的开头，首先介绍一下LinuxC++程序内存管理的理论基础。后续我们将继续解密C++程序中常用的内存管理库的实现原理，包括ptmalloc、jemalloc、tcmalloc等，介绍目前业界流行的内存分配器是如何管理C++的内存的程式。了解内存分配器的原理，有助于工程师在实践中降低处理内存使用问题的成本，并根据系统量身定制应用层的内存管理体系。一、Linux内存管理Linux从下到上大致可以分为：硬件（PhysicalHardware）内核空间（KernelSpace）用户空间（UserSpace）两者的内存地址空间不重叠。这种方法确保在用户空间中运行的应用程序具有一致的硬件视图，而不管硬件平台如何。用户空间使用系统调用以受控方式启用内核服务，例如陷入内核模式和处理页面错误中断。Linux的内存管理系统从下到上大致可以分为：内核层内存管理：在Linux内核中，通过内存分配函数来管理内存：kmalloc()/\_\_get\_free\_pages()：申请更小的内存（kmalloc()以字节为单位，\_\_get\_free\_pages()以每页128K为单位），申请的内存位于物理内存的映射区域，也是物理上连续的，并且它们与真实的物理地址只有一个固定的偏移量。vmalloc()：申请更大的内存，虚拟内存空间提供了连续的内存区域，但不保证物理内存的连续性，开销比\_\_get\_free\_pages()大很多，并且新建一个page需要创建表。用户级内存管理：实现常用的内存管理接口（malloc、free、realloc、calloc），通过调用系统调用函数（brk、mmap等）来管理内存；经典内存管理库ptmalloc2、tcmalloc、jemalloc。应用程序通过内存管理库或直接调用系统内存管理函数来分配内存，根据应用程序本身的程序特性来使用，如：单变量内存申请与释放、内存池复用等。至此，单个进程可以使用Linux提供的内存划分来流畅运行。从用户程序的角度来看，一个Linux进程的内存模型大致如下：△图2：一个Linux进程的内存模型。变量和函数的参数从高地址向低地址增长Heap：动态内存分配区，在标准C库中通过malloc、new、free和delete等函数进行管理，提供malloc/free函数分配和释放内存，这些函数底层是基于brk/mmap等系统调用实现的，如图2所示：brk()：用于申请和释放小内存。数据段的末尾和堆内存的开始称为brk（programbreak）。通过设置堆的结束地址，可以将地址上移或下移，实现堆内存的扩容或缩容。释放高地址内存后，必须释放低地址内存。标记为空闲区域的低地址不能合并。如果后续申请的内存空间大于这个空闲区域，这部分就会成为内存空洞。默认情况下，当最高地址空间的空闲内存超过128K（可以通过M\_TRIM\_THRESHOLD选项调整）时，执行内存压缩操作（trim）。mmap()：用于申请大内存。mmap（内存映射）是一种内存映射文件的方法，是将一个文件或其他对象映射到进程的虚拟地址空间（文件映射区堆与栈之间的MemoryMappingSegment），实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一对一映射关系。实现了这样的映射关系后，进程就可以使用指针来读写这段内存，系统会自动将脏页回写到对应的文件磁盘中，内核空间对这一段的修改也会直接反映用户空间。这使得不同进程之间可以共享文件。对于大于128K的内存，使用系统调用mmap()分配内存。与brk()分配的内存不同，mmap()分配的内存可以独立释放。munmp()：释放mmap()创建的内存空间。但是，对于多个并发运行的进程，系统仍然要处理物理内存受限、内存地址增加等问题。那么当Linux中有多个并发运行的进程时，一个内存分配过程是经过什么过程的呢？现代Linux系统内存分配的主要过程如下[1]：应用程序调用内存分配函数，系统调用brk或mmap分配内存，申请虚拟内存地址空间。在虚拟内存到物理内存的映射过程中，通过请求MMU分配单元，根据虚拟地址计算出地址所属的页，进而计算出页映射表（PageTable）项所在的物理地址根据页映射表的起始地址，根据物理地址在缓存的TLB中找到表项的内容。如果条目不在TLB中，则将其内容从内存中加载到TLB中。△图3：Linux内存分配机制（虚拟+物理映射）进一步分析内存分配过程中涉及的工具：虚拟内存（VirtualMemory）：现代操作系统普遍采用的一种技术，每个进程都有独立的逻辑地址空间，内存被分成多个大小相等的块，称为页（Page）。每页都是一个连续的地址，对应一块物理内存称为页框，通常页和页框的大小是相等的。虚拟内存使多个虚拟页面共享同一个物理页面，而内核与用户进程和不同用户进程隔离。MMU（Memory-ManagementUnit）：内存管理单元负责管理虚拟地址到物理地址的内存映射，实现每个用户进程都有自己独立的地址空间，提供基于硬件的内存访问检查，保护内存每个进程使用。内存不会被其他进程破坏。PageTable：虚拟内存到物理内存的页面映射关系存储单元。TLB（TranslationLookasideBuffer）：高速虚拟地址映射缓存，主要是为了提高MMU地址映射处理的效率，增加了一个缓存机制，如果存在，可以直接取出映射地址使用。这里要提到的一个很重要的概念就是内存的延迟分配。只有当一个地址真正被访问时，这个地址的物理映射才建立起来。这是Linux内存管理的基本思想之一。用户申请内存时，Linux内核只分配虚拟内存，不分配实际物理内存；当用户第一次使用这块内存时，内核会引起缺页中断，分配物理内存，建立虚拟内存和物理内存。内存之间的映射关系。当一个进程被页面错误中断时，该进程将进入内核态并执行以下操作：检查要访问的虚拟地址是否合法找到/分配一个物理页面，填充该物理页面的内容建立一个映射关系（虚拟地址到物理地址）重新执行如果触发缺页中断的指令在填充物理页的过程中需要读磁盘，则缺页中断为majflt，否则为minflt。我们需要注意majflt的值，因为majflt对性能的损害是致命的。随机磁盘读取的耗时在几毫秒量级，minflt只有在数量很多的情况下才会影响性能。2.总结通过Linux内存管理的介绍，我们可以看出内存管理需要解决的问题：调用系统提供的有限接口来操作虚拟内存读写权衡，以及单次分配大内存的成本memoryandmultipleallocationoflessmemory:控制pagefaultinterrupts(尤其是majflt)vsprocesses占用过多内存减少内存碎片减少内存管理库本身带来的额外损失在接下来的几篇文章中，我们将讨论几个经典的内存管理库如如ptmalloc、jemalloc和tcmalloc。进一步与大家探讨C++程序中常用的内存管理库的实现原理。----------END----------相关参考：[1]《Linux透明大页机制在云上大规模集群实践介绍》：https://mp.weixin.qq.com/s/hGjADS9tdHeqS9XR4pkh\_w[2]编写Linux内核模块—第1部分：简介：http://derekmolloy.ie/writing...[3]https://blog.csdn.net/aliming...[4]https://转蓝。知乎.com/p/...[5]https://zhuanlan.zhihu.com/p/...[6]https://blog.csdn.net/agonie2...推荐阅读【技术加油站】系列：从零到一看懂APP测速眼中的CloudNativeObservabilityTrackingTechnology
