操作系统-IO

超链接

原文链接

无论是传统的I/O方式，还是引入了零拷贝之后，2次DMA copy都是少不了的。因为两次DMA都是依赖硬件完成的。

所谓的零拷贝，都是为了减少CPU copy以及减少上下文的切换

概述

分支主题

零拷贝技术对比图

总结

零拷贝主要是用来解决操作系统在处理I/O操作时，频繁复制数据的问题。

作用

运用了虚拟内存特性

实现方式

原理图

把数据读取到内核缓冲区后，应用程序进行写入操作时，直接把内核的Read Buffer的数据复制到Socket Buffer以便写入，该内核复制也需要CPU参与。

与传统IO区别

少了一次CPU COPY，提升了I/O速度。但是上下文操作并没有减少，原因是write操作

结果

1、mmap+write

sendfile()

替换为

mmap();write();

少了一次CPU COPY，以及2次上下文切换

2、sendfile

在内核空间Read Buffer和Socket Buffer不做数据复制，而是将Read Buffer的内存地址、偏移量记录到相应的Socket Buffer中，这样就不需要复制。

本质和虚拟内存的解决方法思路一致，就是内存地址的记录

少了2次cpu复制，以及2次上下文切换

需要硬件以及驱动程序支持

前提

3、scatter/gather的sendfile方式

用户应用程序必须拥有两个已经打开的文件描述符，一个表示输入设备，一个表示输出设备

splice允许任意两个文件相互连接，而不只是文件与socket进行数据传输

splice是一种机制，不仅限于sendfile的功能，是sendfile的父集

无需硬件支持

与sendfile区别

4、splice

零拷贝相关技术

虚拟内存

零拷贝

零拷贝是一种I/O操作优化技术，可以快速高效地将数据从文件系统移动到网络接口，而不需要将其从内核空间复制到用户空间。

在FTP或者HTTP等协议中可以显著地提升性能。目前只有在NIO和Epoll传输时才可以使用该特性。

概念

DMA负责内存与其他组件之间的数据拷贝，CPU仅需负责管理，而无需负责全程的数据拷贝

DMA技术

一次代替read/write系统调用，通过使用DMA技术以及传递文件描述符，实现了zero copy

send file

mmap仅替代read系统调用，将内核空间地址映射为用户空间地址，write操作直接作用于内核空间。通过DMA技术以及地址映射技术，用户空间和内核空间无需数据拷贝，实现了zero copy

mmap+write

Page Cache的zero copy

读写操作直接在磁盘上进行，不是用page cache机制，通常结合用户空间的用户缓存使用。通过DMA技术直接与磁盘网卡进行数据交互，实现了zero copy

不使用page cache的Direct I/O

技术使用介绍

图示

1、从磁盘中读取文件内容拷贝到内核缓冲区（DMA搬运）

2、将内核缓冲区的数据，拷贝到application应用程序的buffer（CPU完成）

3、将application应用程序buffer中的数据copy到socket网络发送缓冲区（属于操作系统内核的缓冲区）（cpu完成）

4、将socket buffer的数据，copy到网卡，由网卡进行网络传输（DMA搬运）

流程

CPU负责将数据从磁盘搬运到内核空间的Page Cache中

CPU负责将数据控内核空间的Socket缓冲区搬运到网卡中

物理<->内存

CPU负责将数据从内核空间的PageCache搬运到用户空间的缓冲区

CPU负责将数据从用户空间的缓冲区搬运到内核空间的Socket缓冲区

内存内部拷贝

没有任何技术优化的4次拷贝

用户态切换为内核态

1、read系统调用

内核态切换回用户态

2、read系统调用完毕

用户态切换到内核态

3、write系统调用时

内核态切换到用户态

4、write系统调用完毕

4次上下文切换

存在冗余的上下文切换和数据拷贝，多了很多不必要的开销，会严重影响系统性能

缺陷

传统IO操作

零拷贝与传统IO