Linux 性能优化

选择指标评估应用程序和系统性能

为应用程序和系统性能设置性能目标

进行性能基准测试

性能分析定位瓶颈

优化系统和应用程序

性能监控和告警

开发语言

了解原理

重原理不抓细节

边学边实践

多思考总结。

平均负载是指单位时间内,系统处于可运行状态和不可中断状态的平均进程数, 也就是平均活跃进程数,它和 CPU 使用率并没有直接关系。

不可中断状态的进程则是正处于内核态关键流程中的进程,并且这些流程是不可打断的,
比如最常见的是等待硬件设备的 I/O 响应,也就是我们在 ps 命令中看到的 D 状态(Uninterruptible Sleep,也称为 Disk Sleep)的进程。

查看 CPU 个数：grep 'model name' /proc/cpuinfo | wc -l

当平均负载高于 CPU 数量 70% 的时候,你就应该分析排查负载高的问题了。

与 CPU 利用率关系

使用 stress 和 sysstat(mpstat, pidstat)进行压力测试和指标监测

# -P ALL 表示监控所有 CPU，后面数字 5 表示间隔 5 秒后输出一组数据
mpstat -P ALL 5

# 间隔 5 秒后输出一组数据
pidstat -u 5 1

watch -d uptime

IO 密集型进程会导致高 iowait，因为有大量的不可中断 IO 行为。

当多个进程抢占 CPU 时也会导致 wait 飙升，因为抢占会导致等待

CPU 上下文切换，就是先把前一个任务的 CPU 上下文（也就是 CPU 寄存器和程序计数器）保存起来。

系统调用的过程会发生CPU 上下文切换，一次系统调用过程，发生了 2 次 CPU 上下文切换。
系统调用不会涉及虚拟内存等进程用户态的资源，也不会切换进程。
系统调用过程通常称为特权模式切换，而不是上下文切换。

进程上下文不仅包括了虚拟内存，栈、全局变量等用户空间的资源，还包括内核堆栈、寄存器等内核空间状态。

进程上下文切换需要几十纳秒到数微秒的 CPU 时间。
Linux 通过 TLB(Translation Lookaside Buffer)管理虚拟内存到物理内存映射关系，同样需要刷新。

发生调度因素

线程自己的私有数据，比如栈和寄存器，这些切换需要保存

线程是调度基本单位，而进程则是资源拥有基本单位。调度对象实际为线程。

为了快速响应硬件的事件，中断处理会打断进程的正常调度和执行，转而调用中断处理程序，响应设备事件。

而在打断其他进程时，就需要将进程当前的状态保存下来，这样在中断结束后，进程仍然可以从原来的状态恢复运行。

不涉及进程的用户态，即便打断了一个正处在用户态进程，也不需要保存和恢复这个进程虚拟内存、全局变量等用户态资源。
中断上下文，只包括内核态中断服务程序执行所必须得状态，包括 CPU 寄存器、内核堆栈、硬件中断参数。

vmstat 5
b(Blocked) 处于不可中断状态的进程数

# 每隔 5 秒输出 1 组数据，查看每个进程上下文切换情况
pidstat -w 5 

自愿上下文切换，是指进程无法获取所需资源，导致的上下文切换。
比如说， I/O、内存等系统资源不足时，就会发生自愿上下文切换。

非自愿上下文切换，则是指进程由于时间片已到等原因，被系统强制调度，进而发生的上下文切换。
比如说，大量进程都在争抢 CPU 时，就容易发生非自愿上下文切换。

安装 sysbench sysstat

pidstat -wt 1 用来查看包括线程之间的上下文切换
很多时候使用 vmstat 看起来上下文切换频率高，但是在 pidstat 看起来不是很高，可能是进程内部线程内部进行了切换

/proc 实际上是 Linux 的一个虚拟文件系统，用于内核空间与用户空间之间的通信。/proc/interrupts 就是这种通信机制的一部分，提供了一个只读的中断使用情况。

中断次数变化速度最快的是重调度中断（RES），这个中断类型表示，唤醒空闲状态的 CPU 来调度新的任务运行。这是多处理器系统（SMP）中，调度器用来分散任务到不同 CPU 的机制，通常也被称为处理器间中断（Inter-Processor Interrupts，IPI）

系统的上下文切换次数稳定，数百到一万以内都算正常。

Linux 通过事先定义的节拍率（内核中表示为 HZ）触发时间中断，调度不同进程。

内核时钟：grep 'CONFIG_HZ=' /boot/config-$(uname -r)
为了方便用户空间程序，内核还提供了一个用户空间节拍率 USER_HZ，它总是固定为 100，也就是 1/100 秒

cat /proc/stat | grep ^cpu
实际的 CPU 利用率都是通过这个文件或者/proc/[pid]/stat计算出来的。





对比一下 top 和 ps 这两个工具报告的 CPU 使用率，默认的结果很可能不一样，
因为 top 默认使用 3 秒时间间隔，而 ps 使用的却是进程的整个生命周期。

perf top，类似于 top，它能够实时显示占用 CPU 时钟最多的函数或者指令，因此可以用来查找热点函数

也就是 perf record 和 perf report。perf record 则提供了保存数据的功能，保存后的数据，需要你用 perf report 解析展示。

perf top -g -p xxxx

ab -c 10 -n 100 http://192.168.0.10:10000/  #启动压测，并发 10 个请求测试 Nginx 性能，总过测试 100 个请求

docker cp phpfpm:/app .
grep sqrt -r app/

用户 CPU 使用

系统 CPU（上下文切换）

等待I/O的 CPU（等待磁盘响应，iowait 升高）

中断 CPU（软中断和硬中断）

D 是 Disk Sleep，不可中断状态睡眠，在跟硬件交互，不允许其他进程或中断打断。

Z 是 Zombie，进程结束了父进程还没有收回它的资源（进程描述符，PID 等）

S 是 Interruptible Sleep，可中断状态睡眠，进程因为等待某个事件被系统挂起。

I 是 Idle，空闲状态。用在不可中断睡眠的内核线程上，硬件交互导致的不可中断进程用 D 表示，但对某些内核线程来说，它们有可能实际上并没有任何负载，用 Idle 正是为了区分这种情况。

T或者 t，也就是Stopped或 Traced 缩写，表示进程处于暂停或者跟踪状态。
向一个进程发送 SIGSTOP 信号，他就会因响应这个信号变成暂停状态；再向它发送 SIGCONT，进程恢复运行。
gdb 调试一个进程时，使用断点中断时

X Deat 缩写，top 中看不到。

进程组

会话

上半部用来快速处理中断，它在中断禁止模式下运行，主要处理跟硬件紧密相关的或时间敏感的工作。
下半部用来延迟处理上半部未完成的工作，通常以内核线程的方式运行。

网卡收到数据，通过硬件中断快速处理，把网卡的数据读到内存，更新硬件寄存器状态，发送软中断。
软中断信号环形，内存中找到网络数据，按照网络协议栈，对数据进行逐层解析和处理，直到送给应用。

上半部会打断 CPU 正在执行的任务，然后立即执行中断处理程序。
而下半部以内核线程的方式执行，并且每个 CPU 都对应一个软中断内核线程，名字为 “ksoftirqd/CPU 编号”，
比如说， 0 号 CPU 对应的软中断内核线程的名字就是 ksoftirqd/0。

内核自定义事件属于软中断，比如内核调度和 RCU 锁（Read-Copy Update）

ps aux | grep softirq
一般来说，ps 的输出中，名字括在中括号里的，一般都是内核线程。

#软中断  /proc/softirqs
#硬中断  /proc/interrupts

软中断以内核线程方式运行，每个 CPU 都对应一个软中断内核线程(ksoftirqd/CPU编号)

ps 的输出中，名字括在中括号里的，一般都是内核线程。

sar：系统活动报告工具，既可实时查看系统的当前活动，又可以配置保存和报告历史统计数据

hping3：是一个可以构造 TCP/IP协议数据包的工具，可以对系统进行安全审计、防火墙测试。

tcpdump 常用网络抓包工具，常用来分析各种网络问题。

使用 hping3 这样的工具制造 SYNCFLOOD 攻击；
step1：watch -d cat /proc/softirqs # 查看到网卡发生的软中断比较高
step2：sar -n DEV 1 # -n DEV 表示网络首发报告，间隔1 秒，查看流量具体数值
step3：tcpdump -i eth0 -n tcp port 80 # -i eth0 只抓取 eth0 网卡，-n 不解析协议名和主机名

CPU 使用率

平均负载

进程上下文切换

平均负载

上下文切换

进程 CPU 使用率高

系统 CPU 使用率高

不可中断和僵尸进程

软中断

确定性能的量化目标

测试优化前的性能指标

测试优化后性能指标

应用程序：吞吐量和请求延迟

系统资源：CPU 使用率

DPDK是一种优化网络处理速度的方法，它通过绕开内核网络协议栈的方法，提升网络的处理能力。
需要独占一个 CPU 以及一定数量的内存大页，并且总是以 100%的 CPU 使用率运行，CPU 核数少就得不偿失了。

编译器优化

算法优化

异步处理

多线程代替多进程

善用缓存

CPU绑定

CPU 独占

优先级调整

为进程设置资源限制

NUMA(Non-Uniform Memory Access)优化

中断负载均衡

并不是所有的虚拟内存都会分配物理内存，只有那些实际使用的虚拟内存才分配物理内存，并且分配后的物理内存，是通过内存映射来管理的。

内存映射，其实就是将虚拟内存地址映射到物理内存地址。
为了完成内存映射，内核为每个进程都维护了一张页表，记录虚拟地址与物理地址的映射关系，

页表实际上存储在 CPU 的内存管理单元 MMU 中，处理器就可以直接通过硬件，找出要访问的内存。
TLB 其实是 MMU 中页表的高速缓存

MMU 并不以字节为单位来管理内存，而是规定了一个内存映射的最小单位，也就是页，通常是 4 KB 大小。
这样，每一次内存映射，都需要关联 4 KB 或者 4KB 整数倍的内存空间。

因为页表比较多，Linux 提供两种机制：多级页表和大页(HugePage)

1. 只读段，包括代码和常量

2. 数据段，包括全局变量

3. 堆，包括动态分配的内存，从低地址开始向上增长

4. 文件映射段，包括动态库、共享内存，高地址向下增长

5.栈，局部变量和函数调用的上下文等，栈大小固定，一般 8MB

小块内存（小于 128K）

大块内存（大于 128K）

这些内存，都只在首次访问时才分配，通过缺页异常进入内核中，再由内核来分配内存。

Linux 通过 slab 分配器来管理小内存，构建在伙伴系统上的一个缓冲，主要作用就是分配并释放内核中小对象。

回收内存

free

top

/proc/meminfo

Buffers 内核缓冲区用到的内存，对应/proc/meminfo 中 Buffers 值

Cache 是内核页缓存和 Slab 用到的内存，对应的是 /proc/meminfo 中的 Cached 与 SReclaimable 之和。

echo 3 > /proc/sys/vm/drop_caches
# 清理文件页、目录项、Inodes 等各种缓存

Buffer 是对磁盘数据的缓存，而 Cache 是文件数据的缓存，它们既会用在读请求中，也会用在写请求中。

写角度：不仅可以优化磁盘和文件的写入，对应用程序也有好处，在数据真正落盘之前，返回做其它工作。

读角度：不仅可以提高那些频繁访问数据的读取速度，也降低了频繁I/O对磁盘的压力。

工具

pcstat

dd if=/dev/sda1 of=file bs=1M count=512  #生成一个 512M 的临时文件
echo 3 > /proc/sys/vm/drop_caches   # 清理缓存

只读段，程序的代码常量，不会泄露

数据段，全局变量和静态变量，不会泄露

内存映射，动态链接库和共享内存，共享内存由程序动态分配和管理，会泄露

/usr/share/bcc/tools/memleak -a -p $(pidof app)
# -a 表示显示每个内存分配请求的大小以及地址
#-p 指定案例英勇的 pid

缓存和缓冲区，属于可回收内存。他们在内存干礼中，通常被叫做**文件页（**File-backed Page）
除此之外，通过内存映射获取的文件映射页，也是常见文件页。

大部分文件页可以直接回收，以后需要再从磁盘读取。而那些被应用修改过，暂时还没写入磁盘的数据（脏页），先写磁盘，在释放内存。

两种写脏页方法

除文件页外，应用程序动态分配的堆内存，也就是匿名页(Anonymous Page)，不能回收，如果很少被访问，暂存磁盘里。
Linux Swap 机制，把这些不常访问的内存先写到磁盘，释放这些内存给其他需要的进程使用，再次访问，重载入。

换入与换出

休眠时基于 Swap 原理

场景

调配

多个处理器被划分到不同 Node 上，每个 Node 拥有自己的本地内存空间。
同一个 Node 内部的内存空间，可以划分为内存誉(Zone)，直接内存访问(DMA)，普通内存(NORMAL), 伪内存(MOVABLE)

通过 /proc/zoneinfo 来查看不同 node使用情况

numactl --hardware 查看 node 概要

分类

/proc/sys/vm/swapiness 调整使用 Swap 的积极程度。0-100

#创建 Swap 文件
fallocate -l 8G /mnt/swapfile
#修改权限只有根用户可以访问
chmod 600 /mnt/swapfile
# 配置 swap 文件
mkswap /mnt/swapfile
# 开启 swap
swapon /mnt/swapfile

共享内存是通过tmpfs实现的，他的大小也就是tmpfs使用的内存大小。
tmpfs 其实也是一种特殊的缓存。

可使用内存是进程可以使用的最大内存，包括剩余内存和可回收缓存。

缓存包括两部分，一部分是磁盘读取文件的页缓存，用来缓存从磁盘读取的数据，可以加快以后再次访问的速度。
另一部分，则是 Slab 分配器中的可回收内存。

缓冲区是对原始磁盘块的临时存储，用来缓存要写入磁盘的数据。

虚拟内存：代码段、数据段、共享内存、已经申请的堆内存和已经换出的内存等。包括未分配空间

常驻内存：实际使用物理内存，不包括 Swap 和共享内存。

共享内存：包括与其他进程共同使用的真实的共享内存，包括加载动态链接以及程序代码段等

swap：通过 swap 换出到磁盘的内存。

Linux 位每个文件分配两个数据结构，索引节点(index node)和目录项(directory entry)

索引节点，简称 inode，用来记录文件的元数据，比如 inode 编号、文件大小、访问权限、修改日期、数据的位置。

目录项，简称为 dentry，用来记录文件的名字、索引节点指针以及与其他目录项的关系。多个关联的目录项，构成文件系统目录结构。
不同于索引节点，目录项是由内核维护的内存数据结构，也叫做目录项缓存。

磁盘读写最小单位是扇区，512B大小。文件系统把连续的扇区组成逻辑块，每次都以逻辑块为最小单元管理数据，常为 4KB。

磁盘在执行文件系统格式化分成 3 个存储区域

缓冲与非缓冲I/O

直接与非直接I/O

阻塞与非阻塞I/O

同步与异步 I/O

cat /proc/meminfo | grep -E "SReclaimable|Cached"
vmstat #可以查看cache 和 buffer 分别大小

内部通过目录项、索引节点 、逻辑块以及超级块等数据结构，管理文件。

逻辑块：连续磁盘扇区构成的最小读写单元，用来存储文件数据。

目录项是一个内存缓存、而超级块、索引节点和偶几块都是存储在磁盘持久化数据。

机械磁盘(Hard Disk Driver)

固态磁盘(Solid State Disk)

无论机械磁盘，还是固态磁盘，相同磁盘的随机 I/O 都要比连续 I/O 慢很多.
连续 I/O 还可以通过预读的方式，来减少 I/O 请求的次数，这也是其性能优异的一个原因.

最小读写单位

存储介质

RAID(Redundant Array of Independant Disks)

Linux 中，磁盘实际上是作为一个块设备来管理的，也就是以块为单位读写数据，并且支持随机读写。
每个块设备都会被赋予两个设备号，分别是主、次设备号。主设备号用在驱动程序中，用来区分设备类型；而次设备号则是用来给多个同类设备编号。

处在文件系统和磁盘驱动中间的一个块设备抽象层

跟虚拟文件系统的功能类似。向上，为文件系统和应用程序，提供访问块设备的标准接口；向下，把各种异构的磁盘设备抽象为统一的块设备，并提供统一框架来管理这些设备的驱动程序。

给文件系统和应用程序发来的 I/O 请求排队，并通过重新排序、请求合并等方式，提高磁盘读写的效率。

调度算法 

使用率：磁盘处理 I/O 的时间百分比。

饱和度：磁盘处理 I/O 的繁忙程度。

IOPS（Input/Output Per Second），是指每秒的 I/O 请求数。

吞吐量：每秒 IO 请求大小

响应时间：IO 请求到收到相应的间隔时间。

不同 I/O 大小（一般是 512B 至 1MB 中间的若干值）分别在随机读、顺序读、随机写、顺序写等各种场景下的性能情况

带宽：链路最大传输速率，单位通常为 b/s (比特/秒)

吞吐量：单位时间内成功传输的数据量。吞吐量受带宽限制，而吞吐量/带宽，也就是该网络使用率。

延时：网络请求发出，一直到收到远端响应，所需要的时间延迟。

PPS(Packet Per Second)包/秒，网络包为单位的传输速率。