Linux 系统性能瓶颈分析
2024-03-29 18:02:58 0 举报AI智能生成
登录查看完整内容
Linux系统性能瓶颈分析
作者其他创作
大纲/内容
在计算机网络领域中，进程是指正在运行的程序的实例。它是操作系统管理和分配资源的基本单位。每个进程都包含程序代码、数据、内存、寄存器和系统资源的集合，它们在内存中独立存在，相互隔离，互不干扰。
进程定义
创建
就绪
运行
可中断睡眠进程
不可中断睡眠进程
阻塞
挂起
终止
进程状态
多用户
语法1
语法2
nice值
静态优先级
动态优先级
多任务
进程优先级
程序是一组指令和代码的集合，它是以某种编程语言编写的、用于完成特定任务的软件。程序是静态的，它通常存储在磁盘上，等待被执行。程序的典型示例包括编写的源代码文件、可执行二进制文件（已经编译并可以运行的程序）、脚本文件等。
程序
进程是程序的实际执行实例。当程序在计算机上运行时，操作系统会为它创建一个进程，分配资源（如内存、CPU时间、文件描述符等），并在计算机上执行程序的指令。每个进程都是独立的、有自己的内存空间和执行环境。多个进程可以同时运行，彼此独立。
进程
进程与程序间的关系
僵尸进程
孤儿进程
父子进程关系
兄弟进程关系
并发进程关系
竞争条件和同步关系
管道
消息队列
信号
套接字
共享内存
进程间通信关系
进程间协作关系
进程间客户端-服务器关系
进程与进程间的关系
进程是程序的执行实例，它有独立的内存空间、资源和执行环境。每个进程都有自己的地址空间和系统资源，进程之间相互独立。
线程是进程内的一个执行单元，线程共享进程的内存空间和资源，因此多个线程可以在同一进程内并发执行。
进程和线程的定义
进程需要独立的资源，如内存、文件描述符等，操作系统需要分配和管理这些资源，因此进程之间的资源隔离较强。
线程共享进程的资源，包括内存和文件句柄等。这使得线程之间的通信和数据共享更加容易，但也需要更小心地进行同步和互斥，以避免竞态条件和数据访问冲突。
资源分配和管理
创建和销毁进程通常比较昂贵，因为它们需要分配和释放独立的资源。
创建和销毁线程的开销相对较小，因为它们共享进程的资源，不需要额外的资源分配。
创建和销毁开销
进程之间的并发性较低，因为它们通常是相互独立的，通信和同步需要较复杂的机制。
线程之间的并发性较高，因为它们共享相同的内存空间，可以更容易地共享数据和通信。
并发性
进程之间的故障通常不会相互影响，一个进程的崩溃不会导致其他进程崩溃。
线程之间的故障容忍性较低，因为它们共享相同的内存空间，一个线程的错误可能会影响整个进程的稳定性。
故障容忍性
进程在多核处理器上的并行执行可能需要更多的协调和通信开销。
线程更容易在多核处理器上并行执行，因为它们属于同一进程，可以充分利用进程的多个核心。
多核利用
进程与线程的关系
程序的指令
数据
堆栈
共享库
其他资源
地址空间(即内存)
物理内存
除了填补因物理内存不足的空缺外，还将会在适当的时候将物理内存中不经常读写的数据块自动交换到 Swap 交换空间
这个交换的策略由 Linux 系统内核定时执行
Linux 内核根据最近最少使用算法定时地将一些不经常使用的页面文件交换到 Swap。
页面缺失
页面调度
Swap Space
逻辑内存
物理内存与虚拟内存
虚拟内存
是Linux系统的内存单位
是物理内存或虚拟内存中一组连续的线性地址
大小通常是 4KB 或更大
页
页高速缓存通常以页面的单位来存储数据
是操作系统在物理内存中维护的一个缓存，用于存储磁盘上的文件数据的副本
当一个文件的数据（内容）被读取时，操作系统将数据从磁盘读取到页高速缓存中，以便后续的读取操作可以更快速地访问数据
页高速缓存
是一种用于提高文件读取性能的技术，通过将磁盘数据缓存在物理内存中来提速
是一种优化技术，用于减少文件写入操作对性能的影响
当文件数据被修改并需要写回磁盘时，操作系统通常不会立即将数据写回磁盘，而是将数据标记为\"脏\"，并将其保留在页高速缓存中。
操作系统通过一种策略，例如延迟写回或按需写回，决定何时将脏数据写回磁盘。
这允许操作系统将多个写操作合并，以减少磁盘写入的次数，提高性能。
页写回机制
是一种用于减少文件写入操作对性能的影响的优化策略，它延迟了脏数据的磁盘写入操作，以提高效率。
页高速缓存与页写回机制
这两个概念通常用于操作系统的文件系统和虚拟内存管理中，以改善性能和响应时间。
内存
ext2
ext3
ext4
EXT
Btrfs
XFS
F2FS
本地文件系统
NFS
SMB
CIFS
网络文件系统
procfs
sysfs
tmpfs
虚拟文件系统
特殊文件系统
虚拟化文件系统
日志文件系统
闪存文件系统
文件系统分类
分布式和集中式的访问
RAID 0
RAID 1
RAID 5
RAID 6
RAID 10
磁盘冗余阵列
优化思路
文件系统
块
扇区
磁道
磁头
柱面
硬盘驱动器
硬盘
CFQ
Deadline
NOOP
BFQ
Kyber
MQ-DEADLINE
磁盘 I/O 调度策略
磁盘 I/O
性能指标
选项
间隔时间
计数
vmstat[选项][间隔时间][计数]
语法
不添加任何选项
每 2s 输出（采集）一次系统数据
每 2s 输出（采集）一次系统数据，共采集 5 次
示例
表示运行队列中的进程数，即当前正在运行的进程数。如果这个值长期大于系统 CPU 个数，说明 CPU 紧张，需进行CPU 升级（即增加系统 CPU）。
r 列
表示在等待资源的进程数，即处于不可中断（blocked）状态的进程数，通常是等待 I/O、内存交换完成的进程数。
b 列
procs
表示交换（swap）的虚拟内存使用量，表示从实际物理内存已经交换到交换空间的数据量，我这里的值为 0，因为我压根就没有启用 Swap Space。如果你启用了交换空间，发现swpd 列下的值很大，且 swap 字段下的 si、so 列的值长期为 0，这也不会影响系统性能。
swpd 列
表示当前可用的空闲物理内存。
free 列
Buffers Cache，表示内存缓冲区缓存的数据量，一般对块设备的读写才需要缓冲（即通常用于文件I/O缓存）。
buff 列
Page Cache，表示内存的页高速缓存的数据量，一般作为文件系统的缓存（即通常用于文件系统缓存），频繁访问的文件都会被缓存，如果 cache 列的值比较大，说明页缓存的文件数较多，如果此时 io 字段中的 bi 列的值较小，说明文件系统效率较好。
cache 列
memory
表示每秒从磁盘（即交换空间）交换到内存的数据量（swap in)（单位KB/s）。
si 列
表示每秒从内存交换到磁盘（即交换空间）的数据量（swap out）（单位KB/s）。
so 列
swap
表示每秒从块设备（磁盘）读取的块数量（blocks in）（单位KB/s）。
bi 列
表示每秒写入块设备（磁盘）的块数量（blocks out）（单位KB/s）。
bo 列
io
每秒中断的数量，包括时钟中断、网络中断等。
in 列
每秒上下文切换的数量，包括进程切换和内核线程切换。
cs 列
system
用户空间占用CPU时间的百分比。如果长期大于 50%，就需要考虑优化程序或算法。
us 列
内核空间占用CPU时间的百分比。如果 us + sy 长期大于 80%，说明 CPU 资源不足。
sy 列
CPU空闲时间的百分比。
id 列
等待 I/O 完成的CPU时间的百分比。wa 越高说明 IO 等待越严重，一般如果 wa 超过 20%，说明 IO 等待严重（可能是因为磁盘大量的随机读写造成）。
wa 列
用于虚拟机监控程序（hypervisor）的CPU时间的百分比（仅在虚拟化环境中可见），因为我使用的就是虚拟机，所以我有这一列。
st 列
cpu
字段输出解释(数据如示例截图)
vmstat
-P
-I
mpstat [选项] [间隔时间] [计数]
每 2s 输出（采集）一次系统数据，共采集 5 次，并指定采集具体 CPU
首行显示：操作系统版本和主机名， 当前 日期， 系统架构，CPU核心数量
首列显示统计信息的时间戳
处理器的 ID 号，采集时不指定则默认为系统整体 CPU 情况（all 表示系统整体 CPU 情况，其他如 CPU 0、CPU 1 等）。
CPU
用户空间占用 CPU 时间的百分比。
%usr
优先级较高的用户空间占用 CPU 时间的百分比。
%nice
内核空间占用 CPU 时间的百分比。
%sys
CPU 等待 I/O 操作完成的百分比。
%iowait
CPU 处理硬件中断的百分比。
%irq
CPU 处理软件中断的百分比。
%soft
CPU 被虚拟机监控程序（hypervisor）\"偷取\"的百分比。
%steal
运行虚拟机中的操作系统时，CPU花费在虚拟机中的百分比。
%guest
虚拟机中运行的优先级较高的用户空间占用CPU时间的百分比。
%gnice
%idle
平均值，如果指定了采集次数，系统自动为我们计算出相关字段的平均值。
Average
mpstat
09:29:15：是当前的系统时间，显示 小时：分钟：秒。
1 users：这是当前登录到系统的用户数量。
uptime
CPU 性能分析工具
free [选项]
不添加任何选项不带参数时默认选项为-k
人性化显示
示列
= used + free + buff/cache
物理内存的总量，包括实际可用内存和内核保留的内存。
total
已使用的物理内存量，包括用于进程和系统的内存。
used
空闲的物理内存量，尚未分配给任何进程。
free
被共享的内存量，通常用于共享内存段的进程（如进程间通信机制）。
shared
用于缓冲区和缓存的内存量。这包括Linux内核用于缓存文件系统数据的内存，以及用于文件I/O的内存缓冲区。
buff/cache
= buff/cache - shared - buffer + free
一般地 20% < available < 70%，则系统内存资源基本能满足应用需求，暂时不影响系统性能。
可用内存量，表示系统当前可供新进程使用的内存，包括缓冲区和缓存。
available
smem [选项]
显示内存单位并指定字段进行排序
以百分比显示并指定字段进行排序
查看每个用户使用内存的情况
查看指定进程使用系统内存的情况
进程ID
PID
进程所属用户
User
进程的命令行
Command
进程占用的交换空间
Swap
唯一内存使用（Unique Set Size），表示进程独占的内存
USS
共享内存使用（Proportional Set Size），表示进程独占内存加上共享内存的平均值
PSS
物理内存使用（Resident Set Size），表示进程当前实际占用的物理内存
RSS
smem
内存性能分析工具
iotop [选项]
基础交互操作
以千字节显示
查看指定进程的 I/O 情况
线程或进程的唯一标识符（Thread/Task ID），表示正在进行磁盘 I/O 操作的进程或线程的ID。
TID
进程的优先级（Priority），通常用于指示进程的执行优先级。
PRIO
执行磁盘 I/O 操作的用户的用户名。
USER
磁盘读取速率，表示进程正在从磁盘读取数据的速度。以字节/秒（Bytes per Second）为单位显示。
DISK READ
磁盘写入速率，表示进程正在向磁盘写入数据的速度。以字节/秒为单位显示。
DISK WRITE
表示进程从交换空间中读取数据的速率，通常用于虚拟内存操作。以字节/秒为单位显示。
SWAPIN
磁盘 I/O 操作的总和，包括读取和写入。以百分比形式表示，表示磁盘 I/O 占用的总带宽。
IO>
正在进行磁盘 I/O 操作的进程或线程的命令名称。
COMMAND
按键盘 O 键显示当前有 I/O 输出的进程
按键盘 < 键 或> 键进指定排序字段（默认基于 IO 字段来排序）
按键盘 P 键进行进程/线程的切换（默认显示的进程 PID 相关信息）
键盘功能
iotop
-c
-d
2：表示 2 秒
时间间隔
5：表示输出 5 组数据
次数
iostat [选项] [间隔时间] [次数]
显示 CPU 使用情况
显示磁盘 I/O 使用情况
指定间隔时间和次数
磁盘设备的名称，表示正在监视的磁盘或分区。
Device
每秒传输的 I/O 操作次数（Total I/O Transactions Per Second）。这个值表示每秒完成的读取和写入磁盘的总操作数。
tps
每秒从磁盘读取的数据量（Kilobytes Read Per Second）。这个值表示每秒从磁盘读取的数据量，以千字节（KB）为单位。
kB_read/s
每秒写入磁盘的数据量（Kilobytes Written Per Second）。这个值表示每秒写入磁盘的数据量，以千字节（KB）为单位。
kB_wrtn/s
自系统启动以来从磁盘读取的总数据量（Kilobytes Read）。这个值表示自系统启动以来累积的总读取数据量，以千字节（KB）为单位。
kB_read
自系统启动以来写入磁盘的总数据量（Kilobytes Written）。这个值表示自系统启动以来累积的总写入数据量，以千字节（KB）为单位。
kB_wrtn
iostat
磁盘性能分析工具
-i
-s
ping [选项] 目标主机
基本用法
指定发送报文数量
这是 ping 命令的第一行，显示正在执行的 ping 命令以及目标主机的 IP 地址或主机名。
PING
每个 ICMP 报文的大小，通常默认为 64 字节。
bytes
ICMP 报文的序列号，从 0 开始递增。
icmp_seq
生存时间（Time to Live），表示报文在网络上能够存活的跳数（路由器数量）。
ttl
每个 ICMP 报文的往返时间（Round-Trip Time，RTT），以毫秒为单位。这是从发送 ICMP 报文到接收响应所经过的时间。
time
发送的 ICMP 报文数量，表示发送的次数。
packets transmitted
接收的 ICMP 响应报文数量，表示成功收到的次数。
packets received
丢失的 ICMP 报文数量，表示未收到响应的次数，通常以百分比形式显示。
packet loss
用于显示 RTT 的统计信息，通常包括最小、最大和平均 RTT 时间。
ping
网络性能分析工具
性能分析工具
Linux 系统
0 条评论
回复 删除
下一页
