首页  思维导图  详情



 



存储服务流程

2022-03-22 12:06:15   12  举报





AI智能生成

存储服务流程

oss

对象存储

模板推荐

作者其他创作

大纲/内容

硬件选型

存储场景类型

高性能场景

这种配置的类型亮点在于它在低TCO（ownership的总消耗）下每秒拥有最高的IOPS。典型的做法是使用包含了更快的SSD硬盘、PCIe SSD、NVMe做数据存储的高性能节点。通常用于块存储，但是也可以用在高IOPS的工作负载上。

通用场景

亮点在于高吞吐量和每吞吐量的低功耗。通用的做法是使用SSD和PCIe SSD做OSD日志盘，以及一个高带宽、物理隔离的双重网络。这种方法常用于块存储，如果你的应用场景需要高性能的对象存储和文件存储，也可以考虑使用。

大容量场景

亮点在于数据中心每TB存储的低成本，以及机架单元物理空间的低成本。也被称为经济存储、廉价存储、存档/长期存储。通用的做法是使用插满机械硬盘的密集服务器，一般是36到72，每个服务器4到6T的物理硬盘空间。通常用于低功耗、大存储容量的对象存储和文件存储。一个好的备选方案，是采用纠删码来最大化存储容量。

CPU

RAM内存

Network

硬盘

部署调优

部署

网络问题

磁盘问题

优化

硬件优化

硬件规划

SSD选择

BIOS设置

操作系统优化

Linux

I/O调度

预读

进程数量

内存

SMP和NUMA

SWAP

内存管理

Cgroup

网络层面

性能

指标

IOPS

顺序（Sequential）读写

随机（Random）读写

延迟（latency）

持续吞吐（Sustained Throughput）

突发处理能力（Burst I/O）

测试

iops&latency

这是两个衡量存储性能最基本的概念。IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次数)，是衡量存储性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量，一般以每秒处理的I/O请求数量为单位，I/O请求通常为读或写数据操作请求。另一个重要的性能指标是延迟（等待时间），延迟度量系统运行状况及系统资源可用性，延迟取决于队列。存储系统类似于杂货店收银台排队，每个组件都有确定的性能最大值，系统趋近最大性能会增加延迟。延迟小于10毫秒的目标并非偶然，很多应用系统甚至对延迟更敏感。

FIO测试

fio 是一个 I/O 工具用来对硬件进行压力测试和验证，支持13种不同的I/O引擎，包括：sync, mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等, I/O priorities (for newer Linux kernels), rate I/O, forked or threaded jobs, 等等。它可以对块设备以及文件系统进行性能测试，通过接收一份简单的文本文件来理解工作描述来，结果会显示各种I/O性能信息。该工具在很多地方广泛使用，用来测试性能基准，稳定性验证。它支持Linux，FreeBSD，NetBSD，OS X，OpenSolaris，AIX和Windows。

带宽（bw)和iops

指标

顺序读写（吞吐量，常用单位为MB/s）

文件在硬盘上存储位置是连续的。

适用场景：大文件拷贝（比如视频音乐）。速度即使很高，对数据库性能也没有参考价值。

4K随机读写（IOPS，常用单位为次

在硬盘上随机位置读写数据，每次4KB。

适用场景：操作系统运行、软件运行、数据库。

Cosbench测试

Cosbench是Intel的开源云存储性能测试软件，Cosbench目前已经广泛使用与云存储测试，并作为云存储的基准测试工具使用，Cosbench可在windows和linux两种系统中运行，而为了更好的发挥硬件和系统的能力，建议在使用Cosbench进行测试时，选择linux系统。

架构灾备

上线测试