Blog of Aspirer

本次环境搭建在云主机上完成。如在物理机上搭建，可能需要修改虚拟机xml配置文件。

前提

ceph环境已搭建完毕，并可以创建rbd卷。

安装qemu及libvirt

其中qemu-block-extra包是为了给qemu提供rbd协议存储后端扩展支持。

下载虚拟机镜像

创建虚拟机使用的rbd卷（虚拟机系统盘）

准备虚拟机xml配置文件

保存成xxx.xml，比如libvirt.xml：

之后执行virsh define libvirt.xml（定义虚拟机并持久化虚拟机配置到libvirt），virsh list

–all （查看所有状态虚拟机，包含关机状态），virsh start ceph（启动虚拟机），virsh destroy/shutdown ceph（强制/正常关机），virsh undefine ceph（清理虚拟机）。

挂载卷到虚拟机上

准备挂载卷的xml配置，基本上就是从虚拟机配置里面摘出来的磁盘配置：

之后执行virsh attach-device ceph vdb.xml，虚拟机里面sudo fdisk -l即可看到，注意，virsh destroy之后再start虚拟机，动态挂载的卷会消失，可以在attach-device命令后加上–config参数进行持久化，或者直接把这段xml放到libvirt.xml里面（<devices></devices>段里面即可）再启动虚拟机。

卸载磁盘设备执行virsh detach-device ceph vdb.xml即可。

ceph-client socket

如果你在ceph.conf里面配置了admin_socket，并且相关目录的权限也放开（虚拟机对应的qemu进程是libvirt-qemu用户组），

那么你就可以看到相应的ceph-client socket生成。

通过qemu调试librbd

注意：需要先手工编译安装debug版本librbd，qemu使用上面提到的apt-get方式安装，未编译，因此调试时看不到相应源码，如有需要可以自行编译，或者安装debug包。

虚拟机启动后，可以用gdb调试qemu进程，qemu进程通过调用librbd.so来进行rbd卷的IO读写：

安装qemu debug symbols

之后再用gdb调试就可以看到全部的调用栈信息及源码位置了：

从gdb启动qemu进程

如果需要用gdb直接启动qemu进程，可以使用qemu命令行方式启动虚拟机：

注意事项：

这里的虚拟机配置没有配置网络（如果需要网络，则需要先配置网桥），如果要连接到虚拟机内部，可以使用VNC客户端连接，下载地址：https://www.realvnc.com/en/connect/download/viewer/

vnc端口号查看：virsh vncdisplay ceph，:0表示5900，VNC客户端比较智能，会自动把0映射到5900，也即你在客户端里面输入：192.168.0.2和192.168.0.2:0和192.168.0.2:5900是一样的效果。

也可以通过ps -ef|grep qemu | grep vnc查看，如-vnc 0.0.0.0:0，表示vnc server监听端口5900。

公有云云主机，由于有安全组限制，需要打开对应的VNC server端口才能连接。

或者通过xshell/secureCRT客户端的端口映射转发来映射过去（secureCRT如下图），之后在VNC客户端输入127.0.0.1:5900即可访问虚拟机。