存储服务流程
2022-03-22 12:06:15 12 举报
AI智能生成
存储服务流程
作者其他创作
大纲/内容
硬件选型
存储场景类型
高性能场景
这种配置的类型亮点在于它在低TCO(ownership的总消耗)下每秒拥有最高的IOPS。典型的做法是使用包含了更快的SSD硬盘、PCIe SSD、NVMe做数据存储的高性能节点。通常用于块存储,但是也可以用在高IOPS的工作负载上。
通用场景
亮点在于高吞吐量和每吞吐量的低功耗。通用的做法是使用SSD和PCIe SSD做OSD日志盘,以及一个高带宽、物理隔离的双重网络。这种方法常用于块存储,如果你的应用场景需要高性能的对象存储和文件存储,也可以考虑使用。
大容量场景
亮点在于数据中心每TB存储的低成本,以及机架单元物理空间的低成本。也被称为经济存储、廉价存储、存档/长期存储。通用的做法是使用插满机械硬盘的密集服务器,一般是36到72,每个服务器4到6T的物理硬盘空间。通常用于低功耗、大存储容量的对象存储和文件存储。一个好的备选方案,是采用纠删码来最大化存储容量。
CPU
RAM内存
Network
硬盘
部署调优
部署
网络问题
磁盘问题
优化
硬件优化
硬件规划
SSD选择
BIOS设置
操作系统优化
Linux
I/O调度
预读
进程数量
内存
SMP和NUMA
SWAP
内存管理
Cgroup
网络层面
性能
指标
IOPS
顺序(Sequential)读写
随机(Random)读写
延迟(latency)
持续吞吐(Sustained Throughput)
突发处理能力(Burst I/O)
测试
iops&latency
这是两个衡量存储性能最基本的概念。IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次数),是衡量存储性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量,一般以每秒处理的I/O请求数量为单位,I/O请求通常为读或写数据操作请求。另一个重要的性能指标是延迟(等待时间),延迟度量系统运行状况及系统资源可用性,延迟取决于队列。存储系统类似于杂货店收银台排队,每个组件都有确定的性能最大值,系统趋近最大性能会增加延迟。延迟小于10毫秒的目标并非偶然,很多应用系统甚至对延迟更敏感。
FIO测试
fio 是一个 I/O 工具用来对硬件进行压力测试和验证,支持13种不同的I/O引擎,包括:sync, mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等, I/O priorities (for newer Linux kernels), rate I/O, forked or threaded jobs, 等等。它可以对块设备以及文件系统进行性能测试,通过接收一份简单的文本文件来理解工作描述来,结果会显示各种I/O性能信息。该工具在很多地方广泛使用,用来测试性能基准,稳定性验证。它支持Linux,FreeBSD,NetBSD,OS X,OpenSolaris,AIX和Windows。
带宽(bw)和iops
指标
顺序读写(吞吐量,常用单位为MB/s)
文件在硬盘上存储位置是连续的。
适用场景:大文件拷贝(比如视频音乐)。速度即使很高,对数据库性能也没有参考价值。
4K随机读写(IOPS,常用单位为次
在硬盘上随机位置读写数据,每次4KB。
适用场景:操作系统运行、软件运行、数据库。
Cosbench测试
Cosbench是Intel的开源云存储性能测试软件,Cosbench目前已经广泛使用与云存储测试,并作为云存储的基准测试工具使用,Cosbench可在windows和linux两种系统中运行,而为了更好的发挥硬件和系统的能力,建议在使用Cosbench进行测试时,选择linux系统。
架构灾备
上线测试
运行维护
预案演练
0 条评论
下一页