iotracing来了！这是一款基于eBPF技术的IO追踪工具，能够让你一步到位找到高IO的所有信息：

• IO属于哪个进程，支持PID和进程名

• IO属于哪个容器，支持容器化环境

• IO写到哪个磁盘，支持设备号

• IO写到哪个文件，支持完整文件路径和inode号

• IO延迟分析，支持q2c、d2c延迟，找出性能瓶颈

• 刷脏回写追踪，即使内核线程刷脏页，也能追溯到原始进程

• 高延迟调用栈，捕获超过阈值的IO，显示完整内核调用栈

输出进程按照磁盘IO量排序，mysql进程是最大的IO消耗者，每秒读取 5.2GB、写入1.8GB！

此外，该工具还会输出读写文件信息：

这里展示了进程操作的文件，可以看到MySQL正在疯狂读写ibdata1、 ib_logfile0、table1.ibd。延迟q2c，d2c信息一目了然。

识别IO来自哪个容器。在容器环境，iotracing还能显示容器信息 container_hostname ：

普通的工具只能抓到一堆内核线程kworker在刷脏页，无法定位到io具体来源的业务进程。

iotracing不仅准确识别到回写io的来源进程，更是精准定位到了io所属的文件。

你一定遇到过这样的场景：

• 凌晨监控告警：某台服务器磁盘IO突然飙升到100%，持续30秒后自动恢复

• 业务影响：这30秒内，数据库查询超时，用户请求失败率飙升

• 排查困境：等你收到告警并登录服务器时，IO已经恢复正常了。你不知道刚才发生了什么，更不知道如何复现

这是典型的突发IO问题：突发大量的IO请求，持续时间短，但影响严重！HUATUO autotracing框架搭配iotracing可以实时监控的IO负载，当出现异常突增或者延迟异常时，会自动调用iotracing抓取磁盘快照，以供后续的问题根因分析。

下面以一个真实的案例来看iotracing在服务器IO异常突增的场景发挥的作用。

HUATUO观测到服务器在17:50左右发生一次大量读磁盘请求。

iotracing实现原理核心架构如下图:

未来，HUATUO iotracing将打造IO性能分析的终极工具，开放更多特性。