数据库IO性能知识整理
今年年初为了做一体机的性能测试以及CRM3.0的存储性能测试，走马观花的对存储相关的知识做了一些了解，并且结合Swingbench和fio，对数据库和存储性能做了一些测试工作。
整个IO栈是一个比较复杂的流程，包含软件和硬性相关的内容，
图片原始地址：http://www.ilinuxkernel.com/files/Linux.IO.stack_v1.0.pdf
受限自身的知识体系，只对基本的技术环境做了大概的了解，
很可惜，找不到这张图的原始出处，从google查询到的，可以帮助我们了解从数据库发起IO请求操作，到最终完成数据操作流经了那些设备。
数据库相关知识内容内容整理成了《X86平台RAC安装最佳实践》，在ORACLE用户组的活动中做过分享。
为了便于理解设备延迟，以Intel Xeon E5 CPU为基准，整理了一份不同设备的请求延迟数据。
系统设备 | 真实延迟 | 缩放延迟 |
一个 CPU 指令 | 0.4 ns | 1 s |
CPU Level 1 缓存 | 0.9 ns | 2 s |
CPU Level 2 缓存 | 2.8 ns | 7 s |
CPU Level 3 缓存 | 28 ns (10 X L2) | 1 min |
DDR 内存 | 100 ns | 4 min |
Intel 傲腾 | <10 us | 7 hrs |
8GB HBA卡 | 50 us | 1.5 days |
NVMe 固态硬盘 | ~25 us | 17 hrs |
固态硬盘 | 50–150 μs | 1.5–4 days |
机械硬盘 | 1–10 ms | 1–9 months |
从硬件发展的趋势来看，传统的存储性能瓶颈在NVMe设备普及的情况下，越来越淡化，同时硬件性能的提升，也促进了分布式存储和开源数据库的快速发展。
客观的讲，目前大部分的一体机，在技术层面没有多少创新，只是使用了全新的硬件架构，使得数据库性能达到了极大的提升。更多的是看对一体机本身的管理、监控以及相关扩展功能的一些提供，比如备份以及CDP/CDM等辅助功能。
Linux设备发现，多路径管理，fio测试相关的知识，在《数据库系统IO性能测试方法》中进行了整理。
主机HBA卡信息
[root@dzqddb1 disk]# lspci | grep -i hba
c1:00.0 Fibre Channel: QLogic Corp. ISP2532-based 8Gb Fibre Channel to PCI Express HBA (rev 02)
服务器HBA端口编号
[root@dzqddb1 ~]# cd /sys/class/fc_host
host3 -> ../../devices/pci0000:c0/0000:c0:03.0/0000:c1:00.0/host3/fc_host/host3
存储前端端口编号
[root@dzqddb1 ~]# cd /sys/class/fc_remote_ports
rport-3:0-0 -> ../../devices/pci0000:c0/0000:c0:03.0/0000:c1:00.0/host3/rport-3:0-0/fc_remote_ports/rport-3:0-0
磁盘设备映射路径
[root@dzqddb1 ~]# udevadm info --query=all --name=/dev/sdak
P: /devices/pci0000:c0/0000:c0:03.0/0000:c1:00.0/host3/rport-3:0-1/target3:0:1/3:0:1:12/block/sdak
包括一些磁盘参数的比对情况：
机械硬盘(HDD) | 固态硬盘(SSD) | NVMe SSD | |
产品 | 希捷 ST4000DM006 | INTEL SSD 545S | Intel SSD DC P4600 |
接口类型 | SATA 6Gb/s | 6 Gb/s SATA接口 | PCIe NVMe 3.1 x4 |
容量 | 4TB | 1.00 TB | 4.00 TB |
顺序读 | 220MB/s | 550 MB/s | 3200 MB/s |
随机读 | 76 | 85000 | 617500 |
顺序写 | 500 MB/s | 1900 MB/s | |
随机写 | 75000 | 225000 | |
读延迟 | 9 ms | 50 µs | 82 µs |
写延迟 | 9 ms | 50 µs | 30 µs |
价格 | 700￥ | 1500￥ | 19000￥ |
推荐一下阿里云的一套视频，《深入解析数据存储技术原理及发展演进》，非常精彩。https://yq.aliyun.com/promotion/689，不过视频在线直播数据有点慢，想看下载视频的，可以用百度网盘下载离线版本：
链接：https://pan.baidu.com/s/1FEq6mtD4x8e2UDqeqIs8Bg
提取码：kyq2
另外两个整理的文档也在网盘中有分享。