目录
问题记录2023-8-31
显卡直通
原理和流程
最底层开启VT（虚拟化技术）
PVE设置
上传镜像
创建虚拟机windows
虚拟系统驱动
问题记录2023-8-31
近期遇到添加的显卡的虚拟机启动不起来 状态如下
状况1：虚拟机的控制台一直处于这种状态 虚拟机运行状态是黄色感叹号⚠️
状况2：虚拟机的控制台显示guest has not initialzed the display (yet) 虚拟机运行状态是黄色感叹号⚠️
排查过程中发现在硬件中把pci的显卡给去掉后就可以正常运行。问题锁定显卡直通存在问题，然后在网上查到一个帖子，说其实7.0后就不用设置这么多配置和参数了，只需要
/etc/default/grub文件
#找到： GRUB_CMDLINE_LINUX_DEFAULT="quiet"
#然后修改为： GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"
修改完配置文件后执行update-grub更新一下grub配置文件
至此问题解决。
显卡直通
原理和流程
最底层：打开主机Bios下的最底层直通开关VT-D；
PVE系统层：打开PVE系统的IOMMU支持，大概意思是PVE系统级别的开关；
PVE系统层：关闭PVE系统对显卡的调用，腾出来给虚拟机用；
虚拟机层：配置要用显卡的虚拟机，让他去调用显卡；
虚拟系统层：让Windows系统装上显卡的驱动，让虚拟机系统能调用下卡；
最底层开启VT（虚拟化技术）
最底层：打开主机Bios开启VT（Virtualization Technology）
由于不同品牌主机开启VT的方法不同 请自行百度
PVE设置
进入pve命令行界面
修改/etc/default/grub文件
并在里面找到GRUB_CMDLINE_LINUX_DEFAULT="quiet" 这一行 将这一行替代成，目的是开启底层的硬件直通功能
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt video=efifb:off,vesafb:off"
注意 如果是AMD的处理器是不一样的内容，
添加完毕后，我们更新一下grub配置文件 输入命令 update-grub
然后找到配置文件/etc/modules 在结尾添加内容，打开pci硬件的直通
vfio vfio_iommu_type1 vfio_pci vfio_virqfd
上述就完成了PVE层的PCI直通设置，加下来我们将PVE系统禁止加载显卡驱动，目的是不与需要显卡直通的虚拟机冲突争夺HDMI通道，找到这个路径
/etc/modprobe.d/ pve-blacklist.conf 添加一下
blacklist radeon blacklist nouveau blacklist nvidia
其他参数
# 允许不安全的中断
echo "options vfio_iommu_type1 allow_unsafe_interrupts=1" > /etc/modprobe.d/iommu_unsafe_interrupts.conf
# 忽略异常，防止虚拟机异常导致宿主机崩溃
# ignore_msrs : 忽略异常
# report_ignored_msrs : 是否报告异常
echo "options kvm ignore_msrs=1 report_ignored_msrs=0" > /etc/modprobe.d/kvm.conf输入命令 lspci -nn，查找所有PCI总线的所有设备的供应商ID和设备ID
找到显卡的设备ID（如：[10de:2204]）并复制
01:00.0 VGA compatible controller [0300]: NVIDIA Corporation GA102 [GeForce RTX 3090] [10de:2204] (rev a1) 这行是显卡 记住设备ID
01:00.1 Audio device [0403]: NVIDIA Corporation GA102 High Definition Audio Controller [10de:1aef] (rev a1) 这行是声卡 记住设备ID
找到目录 /etc/modprobe.d/ 并在目录下新建一个vfio.conf的文件
在内容里面填入 options vfio-pci ids=10de:2204,10de:1aef
options vfio-pci ids=设备ID,设备ID
完成上面的配置文件修改后， 输入命令让系统更新配置 update-initramfs -u
接着，我们通过命令重启一下设备 重启命令reboot
重启的过程中，我们观察一下主机输出的HDMID显示，如果看上去卡着不动，无法进入到PVE 的登陆命令行界面，表示你禁用显卡成功了， 可以继续下面的操作，
如果会显示输入命令行的界面，那就表示没有成功禁用显卡，还需要回炉重来。
PVE重启后，我们来验证一下PVE层的显卡直通是否已经开启
使用Xshell连接PVE 输入命令 lsmod | grep vfio
如果出现回调这样类似的信息，表示成功了
vfio_pci 57344 1 vfio_virqfd 16384 1 vfio_pci irqbypass 16384 4 vfio_pci,kvm vfio_iommu_type1 40960 1 vfio 36864 5 vfio_iommu_type1,vfio_pci
上传镜像
virtio-win-0.1.215.iso镜像 虚拟系统驱动
win10.iso是Windows系统镜像
创建虚拟机windows
创建虚拟机 设置名称
设置ISO镜像，类别，版本
设置机型
将设备 IDE改成VirtlO Block 设置磁盘大小 想要用VirtlO BlocK需要加载驱动
设置CPU
设置内存
网络选择Intel E1000
确认并完成
添加VirtlO Block的驱动
ISO镜像选择【virtio-win-0.1.215.iso】
添加PCI设备
选择显卡
勾选 主GPU和PCI-Express
查看驱动和显卡是否添加上了
开启虚拟机 win10安装
没有产品密钥 就点击我没有产品密钥
选择自己需要的版本
由于我们选择的硬盘类型是VirtlO Block需要加载驱动 加载驱动后硬盘就可以加载出来了
有账号就输入账号 没有可以创建 也可以点击脱机账号
由于 我刚刚点击的是脱机账号 所以这点击有限体验
设置用户名
设置密码
虚拟系统驱动
虚拟机通用驱动：我们通过ISO镜像虚拟机驱动包安装
直通驱动：就是显卡，或者你需要直通硬件的实体驱动文件
虚拟机通用驱动可以选择安装也可以不安装 （建议安装一下）
通过PVE虚拟机的设置，进入win10的虚拟机选项，硬件里面，驱动器【virtio-win-0.1.215.iso】 上面操作有添加过程
然后回到windows界面找到 设备管理器 可以看到有一个设备有感叹号（ ！)
右击感叹号的设备选择【更新驱动】，并选择浏览我的磁盘，然后选择光驱盘作为驱动
安装后，会看到一个【VirtlO Balloon Driver】的设置，就OK 了
在设置管理器中的显示适配器中就可以查看到显卡了 有感叹号的那个显卡就是我们刚刚添加的显卡
安装显卡所需的驱动
先检验一下，虚拟机显示界面上，显示是否正常驱动，有两个位置可以检测显卡是否正常调用
设备管理器，能看到显卡的正确型号，并且没有感叹号；
任务管理器，在性能左侧，能看到GPU 的栏目；
到这里显卡直通已经完成了
