侧边栏壁纸
博主头像
landery博主等级

行李箱里装不下我想去的远方

  • 累计撰写 45 篇文章
  • 累计创建 26 个标签
  • 累计收到 6 条评论

目 录CONTENT

文章目录

云计算_06_虚拟化技术_CPU硬件辅助虚拟化

landery
2022-04-29 / 0 评论 / 1 点赞 / 98 阅读 / 6,783 字 / 正在检测是否收录...
温馨提示:
本文最后更新于 2022-05-10,若内容或图片失效,请留言反馈。部分素材来自网络,若不小心影响到您的利益,请联系我们删除。

1 CPU硬件辅助虚拟化

之前我们已经介绍了CPU的三种虚拟化方式,也了解了KVM是基于硬件辅助的虚拟化,有些东西还是没说明白,比如VMCS是怎么用的,为什么要区分Root和Non-Root模式?引入根模式和非根模式之后,出现了八个级别,那么这几个级别又是运行的什么东西,跑的什么程序?虚拟机和宿主机之间又是怎么切换的?等等问题。由于本人才疏学浅,本文可能并不能全部解决这些问题,但是可以有一定的了解。

注:本文大多来自网上的公开资料,参考文献在文末,只是加了本人的一点看法在其中。

再来谈一谈是如何处理敏感指令的特权指令的问题的。
个人理解,由于原有X86系统Ring0-Ring3共4个级别,Linux只是用Ring0 和Ring 3,在没有虚拟化的场景下,操作系统OS可直接执行特权指令,运行在Ring 0级,而加入虚拟化环境后,在没有CPU硬件辅助虚拟化的技术下,就拿Linux来作为Guest OS来说,此时VMM层控制所有硬件资源,VM中的Guest OS只能处于Ring 1-Ring3级别,此时Guest OS不能直接对底层硬件进行操作,所以全虚拟化,也通过了VMM层来解决这个问题,半虚拟化通过Hypercall解决这个问题。但是前两种方式,存在软件实现,性能、兼容性等问题。

于是硬件辅助虚拟化出现,而硬件辅助虚拟化又需要怎么实现CPU虚拟化,什么是CPU虚拟化呢,目的是什么?我们先聊一下虚拟化的历史。

1961年 — IBM709机实现了分时系统,将CPU占用切分为多个极短(1/100sec)时间片,每一个时间片都执行着不同的任务。通过对这些时间片的轮询,这样就可以将一个CPU虚拟化或者伪装成为多个CPU,并且让每一颗虚拟CPU看起来都是在同时运行,这就是虚拟机的雏形。后来的system360机都支持分时系统。
1972年 — IBM正式将system370机的分时系统命名为虚拟机。
1990年 — IBM推出的system390机支持逻辑分区,即将一个cpu分为若干份(最多10份),而且每份cpu都是独立的,也就是一个物理cpu可以逻辑的分为10个cpu。

直到IBM将分时系统开源后,个人PC终于临来了虚拟化的开端,后来才有了上述的虚拟机软件的发展。所以至今为止仍然有一部分虚拟机软件应用分时系统 作为虚拟化的基础实现。就拿CPU全虚拟化来说,通过模拟这种方式实现的全虚拟化,那么VM是不清楚自己运行在虚拟机中的,因为它的OS发出的指令操作,最终都会落到底层的CPU上执行,就相当于分时使用CPU。

总结一下,虚拟化的最终目的 :使用逻辑来表示资源,从而摆脱物理限制的约束。提高物理资源的利用率。

而在虚拟化的过程中,发现Guest OS的特权指令以及敏感指令的问题,从解决这个问题的角度出发,就划分了CPU的虚拟化种类,什么全虚拟化、半虚拟化、硬件辅助虚拟化,目的是一样的,用逻辑表示资源,造成1个物理资源数量更多或者容量更大的假象!那么如何从硬件上支持这种虚拟化呢?

CPU虚拟化的问题,就转变为了如何解决敏感指令的问题,硬件辅助虚拟化方式就是引入了Root和Non-Root模式,将原来对CPU来说的4个级别,划分成了8个级别,CPU知道自己处于Root模式还是Non-Root模式,VMM运行在Root模式中,而Guest VM则运行在Non-Root的受限模式中,当VM中的OS执行到敏感指令时,此时CPU处于Non-Root模式,就会产生VM-Exit事件,通过VMCS转入Root模式,VMM接管CPU,模拟结果后,发出VM-Entry,重新加载vcPU状态,返回VM。

2 硬件辅助虚拟化 AMD/Intel

目前主要有Intel的VT-x和AMD的AMD-V这两种技术。其核心思想都是通过引入新的指令和运行模式,使VMM和Guest OS分别运行在不同模式(ROOT模式和非ROOT模式)下,且Guest OS运行在Ring 0下。通常情况下,Guest OS的核心指令可以直接下达到计算机系统硬件执行,而不需要经过VMM。当Guest OS执行到特殊指令的时候,系统会切换到VMM,让VMM来处理特殊指令。

我们就主要讲Intel的VT-x技术,AMD-V同理。

3 Intel VT-x技术

经过前面的介绍,我们也知道了Intel VT技术包含CPU、内存和I/O三方面的虚拟化技术。CPU硬件辅助虚拟化技术,分为对应安腾架构的VT-i(Intel Virtualization Technology for ltanium)和对应x86架构的VT-x(Intel Virtualization Technologyfor x86)两个版本。内存硬件辅助虚拟化技术包括EPT(Extended Page Table)技术。I/O 硬件辅助虚拟化技术的代表Intel VT-d(Intel Virtualization Technology for Directed I/O)。

Intel VT-x解决了X86架构敏感指令和特权指令的问题,引入了Root和Non-Root模式,也就是根模式和非根模式,可使未经修改的Guest OS运行在特权级0,同时减少VMM对Guest OS的干预。CPU硬件辅助虚拟化技术简要说明流程图:

image.png

效法IBM 大型机,VT-x提供了2 个运行环境:根(Root)环境和非根(Non-root)环境。根环境专门为VMM准备,很像原来没有VT-x 的x86,只是多了对VT-x 支持的几条指令。非根环境作为一个受限环境用来运行多个虚拟机。

CPU硬件辅助虚拟化技术_Intel_02

如上图所示,根操作模式与非根操作模式都有相应的特权级0至特权级3。VMM运行在根模式的特权级0,GuestOS的内核运行在非根模式的特权级0,GuestOS的应用程序运行在非根模式的特权级3。运行环境之间相互转化,从根环境到非根环境叫VMEntry;从非根环境到根环境叫VMExit。VT-x定义了VMEntry操作,使CPU由根模式切换到非根模式,运行客户机操作系统指令。若在非根模式执行了敏感指令或发生了中断等,会执行VMExit操作,切换回根模式运行VMM。

VMX操作

VMX(Virtual Machine Extension)是Intel 64和IA-32架构处理器级别的功能,用于支持虚拟化。VMX支持两种类型的软件:

  1. Virtual-machine monitor(VMM),VMM对处理器和平台硬件具有完全的控制权限。VMM为客户软件提供虚拟处理器的抽象,从而让客户软件能够直接在逻辑CPU上跑。
  2. 客户软件(Guest software)。每个虚拟机(VM)就是一个客户软件运行环境。

根操作模式与非根操作模式之间的转换称作VMX转换,从根操作模式转换到非根操作模式称作VMX进入(VMX Entry),相反从非根操作模式转换到根操作模式称作VMX退出(VMX Exit)。

当处理器运行于VMX根操作模式的时候,它类似于运行在没有打开VMX功能的环境下,跟不打开VMX功能的主要区别是,在VMX根操作模式中,可以执行VMX指令,但是当加载数据到某些特定的寄存器的时候,也会受到一些限制。

当处理器运行于VMX非根操作模式的时候,处理器的某些行为被限制住或者被更改以便实现虚拟化,即某些指令或者事件会引起VM exits,从而让处理器从VMX非操作模式退出到根操作模式的VMM里,从而让VMM去模拟这些指令的行为从而实现虚拟化。

根模式与非根模式之问的相互转换是通过VMX操作实现的。VMM 可以通过VMXON 和VMXOFF打开或关闭VT-x。如下图所示:

VMX操作模式流程:

  1. VMM执行VMXON指令进入VMX操作模式。
  2. VMM可执行VMLAUNCH指令或VMRESUME指令产生VM Entry操作,进入到Guest OS,此时CPU处于非根模式。
  3. Guest OS执行特权指令等情况导致VM Exit的发生,此时将陷入VMM,CPU切换为根模式。VMM根据VMExit的原因作出相应处理,处理完成后将转到2),继续运行GuestOS。
  4. VMM可决定是否退出VMX操作模式,通过执行VMXOFF指令来完成。

VMCS 结构

在虚拟化中,为了实现vCPU,既要模拟CPU的运行,又要记录vCPU的状态(包括对vCPU运行的控制信息),在Intel x86处理器的VMX(Virtual Machine Extension)功能中,通过引入根运行模式(VMX root operation)和非根模式(VMX non-root operation),直接让vCPU运行在逻辑CPU上,在软件上省去了对vCPU运行的模拟,同时也大大提升了性能。剩下的就是对vCPU状态的记录了,为此Intel引入了VMCS(Virtual Machine Control Structure)功能。

VMCS是保存在内存中的数据结构,其包括虚拟CPU的相关寄存器的内容及相关的控制信息。CPU在发生VM Entry或VM Exit时,都会查询和更新VMCS。VMM也可通过指令来配置VMCS,达到对虚拟处理器的管理。VMCS架构图如下图所示:

CPU硬件辅助虚拟化技术_技术_04

VMCS中保存了客户机和宿主机之间切换的vCPU/CPU的状态和控制信息,有点类似Linux中的进程上下文信息。
VMCS(Virtual Machine Control Structure)是Intel x86处理器中实现CPU虚拟化,记录vCPU状态的一个关键数据结构。该数据结构主要包含如下六方面的信息:

  1. Guest-state area,即vCPU的状态信息,包括vCPU的基本运行环境(如通用寄存器等)和一些非寄存器信息,如当前vCPU是否接收中断,是否有挂起的exception,VMCS的状态等等。
  2. Host-state area,即主机物理CPU的状态信息,因为物理CPU是在主机CPU和vCPU之间来回切换运行的,所以在VMCS中既要记录vCPU的状态,也需要记录主机CPU的状态,这样vCPU才能有足够的信息恢复到原来主机CPU的状态,继续主机CPU的运行。其包含的具体信息和前面记录的vCPU的状态信息大体相同。
  3. VM-execution control fields,该方面信息主要用于对vCPU的运行行为进行控制,这是VMM对vCPU进行配置最复杂的一部分,如
    1. 控制vCPU在接收到某些中断事件的时候,是否直接在vCPU中处理掉,即虚拟机直接处理掉该中断事件还是需要退出到VMM中,让VMM去处理该中断事件。
    2. 是否使用EPT(Extended Page Table)功能。
    3. 是否允许vCPU直接访问某些I/O口,MSR寄存器等资源。
    4. vCPU执行某些指令的时候,是否会出发VM Exit等等。
  4. VM-exit control fields,即对VM Exit的行为进行控制,如VM Exit的时候对vCPU来说需要保存哪些MSR寄存器,对于主机CPU来说需要恢复哪些MSR寄存器。
  5. VM-entry control fields,即对VM Entry的行为进行控制,如需要保存和恢复哪些MSR寄存器,是否需要向vCPU注入中断和异常等事件(VM Exit的时候不需要向主机CPU注入中断/异常事件,因为可以让那些事件直接触发VM Exit)。
  6. VM-exit information fields,即记录下发生VM Exit发生的原因及一些必要的信息,方便于VMM对VM Exit事件进行处理,如vCPU访问了特权资源造成VM Exit,则在该区域中,会记录下这个特权资源的类型,如I/O地址,内存地址或者是MSR寄存器,并且也会记录下该特权资源的地址,好让VMM对该特权资源进行模拟。

VMCS 操作

每个vCPU都有自己的一份VMCS数据结构,并且在同一个VM中的vCPU可能会通过VMCS中的指针共享一些数据,如I/O bitmap,MSR bitmap和EPT表等。VMCS的大小需要查看VMX capability MSR IA32_VMX_BASIC寄存器来决定,不同的处理器可能要求的不一样,最大不超过4KB。

每个VMCS都会有一个8字节的头部,前面4字节主要用来表示VMCS的版本号并且表示VMCS是否为shadow VMCS。然后从偏移量8开始,就是VMCS的数据区,不同版本号的VMCS数据区分布会不一样。
image

当VMCS数据结构被load到逻辑CPU上(即执行VMPTRLD指令)后,处理器并没法通过普通的内存访问指令去访问VMCS,如果那样做的话,会引起处理器报错,唯一可用的方法就是通过VMREAD和VMWRITE指令去访问。

VMCS数据结构也会记录下当前vCPU的状态,基本上VMCS的状态由三个域来表示:

  1. Active或Inactive,表示该VMCS是否处于激活状态,即对于逻辑CPU来说,该VMCS是否是直接可用的,有点类似于Linux进程的可运行状态(虽然可运行,但并不意味着现在就必须运行)
  2. Current或Non Current,该状态表示当前逻辑CPU执行VMX指令(如VMCLEAR,VMLAUNCH,VMRESUME等)时的目标VMCS(或者可以理解为目标vCPU),这些VMX指令的目标都是状态为Current的VMCS所代表的vCPU。
  3. Clear或者Launched,用于表示VMCS所对应的vCPU是否有在逻辑CPU上执行过,如果没有,则为Clear状态,如果有,则为Launched状态,Launched状态的VMCS也可以通过VMCLEAR指令恢复到Clear状态。当一个vCPU从一个逻辑CPU迁移到另外一个逻辑CPU的时候,需要先将相应VMCS的状态恢复到Clear,撇清该VMCS根原本逻辑CPU的关系,然后在另外一个逻辑CPU上执行VMPTRLD,将该VMCS和新的逻辑CPU建立联系。

image-1652158611885
对于VMM而言,配置并运行一个VM的最基本步骤如下所示:

  1. 根据IA32_VMX_BASIC MSR寄存器提供的VMCS region大小信息,在内存中创建一个4KB对齐的VMCS region(为了防止被直接内存访问到,可以将该page frame从页表中删除);
  2. 根据IA32_VMX_BASIC MSR寄存器提供的VMCS版本信息,初始化新创建的VMCS region中的版本信息,并且将VMCS前4字节的bit31设置为0(表示该VMCS不是shadow VMCS);
  3. 针对新创建的VMCS region执行VMCLEAR指令,这会对新创建的VMCS region进行初始化,并且将VMCS的状态设置为Clear;
  4. 针对新创建的VMCS region执行VMPTRLD指令,该指令会将新创建的VMCS region设置为逻辑CPU的当前VMCS,即新创建的VMCS从原来的Not Current状态变为Current状态,后面所有的VMX相关指令操作的对象都将是新创建的VMCS;
  5. 通过一系列的VMWRITE指令对VMCS中的Host-state area进行初始化,该区域将记录VM返回到VMM时,或者是VM Entry不成功时,逻辑CPU的状态及执行位置等信息;
  6. 通过VMWRITE指令对VMCS中VM-Exit control field,VM-Entry control field和VM execution control field等区域进行设置;
  7. 通过WMWRITE指令对VMCS中guest state area区域进行设置,该区域表示了VM中vCPU的执行时vCPU的状态,起始执行位置等信息;
  8. 执行VMLAUNCH指令,开始vCPU的执行。通过VMM需要判断VMLAUNCH的返回结果,确定vCPU是否真正被执行,还是因为某些逻辑冲突导致vCPU没有被执行就返回。

注意:在设置VMCS的各个数据区域的时候,是有顺序讲究的,需要先设置Host-state area,这样可以防止后边步骤出现问题,CPU无法返回到正确的状态和位置,另外页可以减少后面设置对Host CPU状态的干扰。

下面这张图就展示了不同的VCPU的切换和状态转换过程:

image-1652159076468

可以看到,不同的VMCS的切换就像Linux中不同的进程在逻辑CPU上切换,通过时分复用的方式共享着物理CPU的资源。

参考文献

1

评论区