前言
在企业服务中,总会出现设备硬件资源利用率处于“划水”状态,浪费企业资源,为解决这类情况,虚拟化技术得以孕育而生。
一 虚拟化概述
1.1 介绍
虚拟化是一种资源管理技术, 是将计算机的各种物理资源, 如服务器、网络、内存及存储等,予以抽象、转换后呈现出来,打破物理设备结构间的不可切割的障碍,使用者可以比原本的架构更好的方式来应用这些资源。这些资源的虚拟部分是不受现有资源的架构方式、地域或物理设备所限制。
1.2 虚拟化产生的原因:
服务器的资源利用率没有达到企业需求或者可接受的值或范围,由此需要提高硬件资源利用率
美国环境保护EPA报告中曾经统计过一组统计数据: EPA研究服务器和数据中心得能源效率时发现,实际上服务器只有5%得时间时在工作的,其他时间一直处于休眠状态
1.3 虚拟化技术
软件资源是没有硬件资源性能高的(稳定和效率)(相同功能情况下)
1.3.1 实现功能:
通过虚拟化技术将一台计算机虚拟为多台逻辑计算机,在一台计算机上同时运行多个逻辑计算机,
同时每个逻辑计算机可运行不同的操作系统,应用程序都可以在相互独立的空间内运行而互相不影响,从而提高计算机的工作效率
1.4 虚拟化特点
1、在一个操作系统中(win10) 模拟多个操作系统(centos. win10、 suse) ,同时每个操作系统可以跑不同的服务(nginx+ tomcat),从而实现一台宿主机搭建一个集群(从整体)
2、通过软件/应用程序的方式,来实现物理硬件的功能
ensp(华为应用工具):二层交换机,三层路由器,防火墙等
3.提高利用率,而不是扩展,存在瓶颈(底层物理硬件)
1.5 虚拟化技术发展
雏形:
1961年,IBM709机器实现了分时系统,将CPU占用切分为多个极短的时间片(1/100sec)每一个时间片执行不同的工作,通过对这些时间片进行轮询从而将一个CPU伪装成多个CPU
1972年, IBM正式将system370机的分时系统命名为虚拟机
1990年, IBM推出的system390机支持逻辑分区(将个CPU分为多份,相互独立,也就是逻辑分割(隔离)
Xen 2003年问世,是一个外部的hypervisor/VMM程序 (虚拟机管理程序),能够控制宿主机和给多个客户机分配资源
KVM: 2007年问世,现已内置在kernel内核中的
Xen支持的虚拟化技术:全虚拟化,半虚拟化
KVM:支持的虚拟化技术:全虚拟化
1.5.1 虚拟化类型
1、 全虚拟化:
将物理硬件资源全部通过软件的方式抽象化,最后进行调用
(将物理资源转换虚拟化资源)
使用的方法:使用hyperisor (VMM)软件,其原理是在底层硬件和服务器之间建立个抽象层,而基于核心的虚拟机是面向Linux系统的开源产品hypervisor(VMM)可以捕提CPU的指令,为指令访问硬件控制器和外设充当中介。
将所有的物理资源的功能全都通过软件形式去实现,将物理资源去进行分割或分方式去提高单个物理资源的利用率
2、 半虚拟化:
需要修改操作系统,需要硬件支持,让其性能,稳定性更趋于物理设备
虚拟引擎:开启硬件辅助-----软件形式的虚拟化功能
3、直通:
直接使用物理硬件资源(需要支持,还不完善)
技术配置困难
需要内核级别支持,芯片级别的集时,直接调用底层物理化资源给予虚拟机,同时还可以进行逻辑分割。
直接调用底层物理硬件支持,底层架构资源,供给虚拟机
直接接用
1.5.2 特性:
1.5.2.1 优势
1.集中化管理(远程管理、维护)
原4台服务器搭建一个集群,现一个服务器即可,管理方便
2.提高硬件利用率(物理资源利用率低;例如峰值,虚拟化解决了“空闲” 容量)
将单个物理硬件资源去模拟出多份形式,实现利用率最大
3.动态调整机器/资源配置(虚拟化把系统的应用程序和服务硬件分离、提高了灵活性)
可调整逻辑分隔数量(8G--16G--8G,根据实际情况进行对应调整)
4.高可靠(可部署额外的功能和方案,可提高透明负载均衡、迁移、恢复复制等应用环境)
可以基于某个状态进行保存,可以随时回滚状态。
1.5.2.2 劣势
1.前期高额费用(初期的硬件支持)
原3台,现1台,性能强悍,利用率,使用率提高
2.降低硬件利用率(特定场景-例如极度吃资源的应用不一定适合虚拟化)
3.更大的错误影响面(本地物理机down机会导致虚拟机均不可用,同时可能虚拟机中文件全部损坏)
单点故障:在没有任何备份的情况下,主节点/服务器出现故障,影响到该节点/服务器所牵连的所有集群
4.实施配置复杂、管理复杂(管理人员运维、排障困难)
5.一定的限制性 (虚拟化技术涉及各种限制,必须与支持/兼容虚拟化的服务器、应用程序及供应商结合使用)
6.安全性(虚拟化技术自身的安全隐患)
代码的健壮性:代码复杂,稳固程度
代码的健壮性决定虚拟化的稳定性
一个服务,研发出来之后,一般来说。10年(生命周期)
一条,增加新的技术来扩展原有的功能
一条, 被其他更轻量级、更有针对性的服务所替代.
Apache 和nginx (轻量、抗高并发、支持正则、负载均衡)
同样的功能,在不同的场景,会有各自的优势
二 虚拟化前后对比
2.1 虚拟化前
每台主机拥有一个操作系统
软硬件紧密结合
在同一个主机上运行多个应用程序通常会产生冲突
系统资源利用率低(例如: 5%)
硬件成本高昂并且不够灵活(物理资源有限)
2.2 虚拟化后
打破了操作系统和硬件的互相依赖
通过封装到虚拟机的技术,管理操作系统和应用程序为单一的个体
强大的安全和故障隔离
虚拟机时独立于硬件的,它们可以在任何硬件上运行
2.3 案例对比:
操作系统方面(虚拟化前) :
LAMP架构中(以一台主机实现)
LINUX + Apache + MySQL + PHP
其中Apache与MySQL资源是共享的如果架构要求服务间的安全性隔离比较高的话,Apache的页面和MySQL数据库的目录一定是不能互相碰面,如果Apache漏洞暴露出来攻击者就可以Apache的进程访问到MySQL的数据目录,从而获取MySQl中的数据,这种就是严重的安全隐患,而想解决这种潜在危险,可以通过实现内核级别的隔离(使用虚拟化技术)
软硬件结合
因为硬件和操作系统不兼容或者不支持,导致有些软、硬件功能无法正常使用(也是最难的问题)
使用虚拟化,软硬件之间是会通过虚拟化层驱动进行隔离(调配)的,只要虚拟化层可以识别软/硬件应用,就可以将软硬件结合使用
在同一个主机上运行多个应用程序通常会产生冲突
Apache和Nginx定位相同(80端口),只能使用反向代理的方式进行分离,而同时如果在同一台机器使用这种方式,Apache和Nginx中重要的数据文件如果同时被泄露出...而虚拟化可以隔离服务
三 虚拟化架构解析
3.1 应用软件
VMwareWorkstation:使用软件达到虚拟多操作系统
VirtualBox: 使用软件虚拟出多物理设备功能
3.1.1 应用示例:
以VMwareworkstation为例
workstation支持intel公司和AMD公司的虚拟化技术
硬件辅助虚拟化技术lntel-VT-x, AMD-V
Intel VT-x技术主要包含CPU、内存和 I/O(输入/输出) 三方面的虚拟化技术,同时提供优化处理(早期为弥补X86架构虚拟化的缺陷)
AMD-V是对x86处理器系统架构的一组硬件扩展和硬件辅助虚拟化技术,可以简化纯软件的虚拟化解决方案,
改进VMM (虚拟机监视器)的设计,更充分地利用硬件资源,提高服务器和数据中心的虚拟化效率
VMM(虚拟机监视器/管理程序)
VMM是一个系统软件,可以维护多个高效、隔离的程序环境(虚拟机) ,同时可以管理计算机系统的真实资源、为虚拟机提供接口
3.2 KVM简介:
3.2.1 广义KVM:
KVM (Kernel- based Vritual Machine)----------基于内核的虚拟机
KVM是基于虚拟化扩展的X86硬件的开源Linux原生的全虚拟化方案(要求cpu支持Intel-VT-x或AMD-V)
KVM内嵌于内核模块中,模拟处理器和内存以支持虚拟机运行
虚拟机被实现为常规的Linux进程,由标准Linux调度程序进行调度;
虚拟机的每个虚拟CPU被实现为一个常规的Linux进程。这使得KMV能够使用Linux内核的已有功能但KVM本身不执行任何模拟。需要客户空间程序(虚拟机)通过/dev/kvm (此虚拟设备需要开起硬件辅助虚拟化才能看到)接口设置一个客户机虚拟服务器的地址空间,并且由Qemu组件模拟/O (ioctl) 进行调度资源和维护管理
Libvirt: KVM的管理工具,除了可以管理KVM这类VMM,还可以管理Xen, VirtualBox, 甚至OpenStack底层
Libvirt包含3个组件:后台daemon程序libvirtd、 API库、命令行工具virsh
3.3 KVM架构及原理
KVM虚拟化架构/三种模式
1.、客户模式(guestOS):VM中的OS为GuestOS
客户机在操作系统中运行的模式,客户机分为内核模式和用户模式,作用如下:
2、用户模式:
为用户提供虚拟机管理的用户空间工具以及代表用户执行I/O,Qemu工作在此模式下(Qemu的主要功能)
3、linux内核模式
模拟CPU、内存,实现客户模式切换,处理从客户模式的推出,KVM即运行在此模式下
3.4 KVM原理
1、Guest: 客户机系统,包括CPU (vCPU) 、内存、驱动(Console、 网卡、I/O设备驱动等),被KVM置于一种受限制的CPU 模式下运行。
2、 KVM内核模块模拟处理器和内存以支持虚拟机运行
3、Qemu主要处理I/O以及为客户提供一个用户空间/dev/kvm 具libvirt来进行虚拟机管理
ioctl (定义) 专用于设备输入输出操作的系统调用
libvirt: KVM管理工具
以上构成一个完整的虚拟化平台
简单理解:
KVM驱动提供处理器、内存的虚拟化,以及客户机I/O的拦截,guest的I/O被拦截后,交由Qemu处理,Qemu利用接口libkvm调用(ioct)虚拟机设备口/dev/kvm来分配资源、管理、维护虚拟机
四 KVM虚拟化平台部署
4.1 部署准备:
4.1.1 安装配置CentOS7
1.系统设置和环境准备
centos7系统安装完成后,需要勾选上KVM虚拟化功能(关机状态下),且网卡选择NAT模式
2.关闭防火墙
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
[root@localhost ~]# vi /etc/selinux/config
修改
SELINUX=disabled
[root@localhost ~]# grep -v "#" /etc/selinux/config
3.设置挂载
[root@localhost ~]# vi /etc/fstab
[root@localhost ~]# mount -a 设置生效
[root@localhost ~]# df -Th 查看
添加
/dev/cdrom /mnt iso9660 defaults 0 0
4.设置DNS反向解析
是否反解DNS,设置为NO可以让客户端连接服务器更快
[root@localhost ~]# vi /etc/ssh/sshd_config
添加修改
UseDNS no
5.设置本地YUM仓库
[root@localhost ~]# cd /etc/yum.repos.d/
[root@localhost yum.repos.d]# ls -lh
[root@localhost yum.repos.d]# mkdir backup
[root@localhost yum.repos.d]# mv C* backup
[root@localhost yum.repos.d]# ls -lh
[root@localhost yum.repos.d]# vi abc.repo
[abc]
name=test
baseurl=file:///mnt
路径 本地源 文件夹
gpgcheck=0 不检查密钥
enabled=1 立即生效
[root@localhost yum.repos.d]# yum clean all 清除缓存
[root@localhost yum.repos.d]# yum makecache 建立缓存
完成以上设置,重启系统
[root@localhost ~]# reboot/init 6
4.2 部署流程
4.2.1 安装KVM
1.安装KVM基本组件
[root@localhost ~]# yum groupinstall -y "GNOME Desktop" 安装 GNOME 桌面环境 如果装了图形界面可以不安装
[root@localhost ~]# yum -y install qemu-kvm 安装KVM 模块
[root@localhost ~]# yum -y install qemu-kvm-tools 安装KVM 调试工具,可不安装
[root@localhost ~]# yum -y install virt-install 安装构建虚拟机的命令行工具
[root@localhost ~]# yum -y install qemu-img 安装qemu组件,创建磁盘、启动虚拟机等
[root@localhost ~]# yum -y install libvirt 虚拟机管理工具
[root@localhost ~]# yum -y install virt-manager 图形界面管理虚拟机
[root@localhost ~]# yum -y install bridge-utils 安装网络支持工具
2.检测CPU是否支持虚拟化
[root@localhost ~]# cat /proc/cpuinfo | grep vmx
3.查看KVM模块是否已安装
[root@localhost ~]# lsmod | grep kvm
Lsmod:显示已载入的系统模块
4.设置开启启动界面的显示模式
[root@localhost ~]# ln -sf /lib/systemd/system/graphical.target /etc/systemd/system/default.target
将系统的默认运行的target更改为graphical.targe 重启系统后进入图形化界面
[root@localhost ~]# systemctl start libvirtd 开启服务
[root@localhost ~]# systemctl enable libvirtd 自启动
4.2.2 设置KVM网络
宿主服务器安装完成 KVM, 首先要设定网络, 在 libvirt 中运行 KVM 网络有两种方法:
NAT 和 Bridge, 默认是 NAT
1.用户模式, 即 NAT 方式, 这种方式是默认网络设置, 数据包由 NAT 方式通过主机的接口进行传送, 可以访问外网, 但是无法从外部访问虚拟机网络
2.网桥,桥接模式, 这种模式允许虚拟机像一台独立的主机一样拥有网络, 外部的机器可以直接访问到虚拟机内部, 但需要网卡支持 (一般有线网卡都支持)
1.设置修改ens33网卡
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
注释ip地址,子网掩码,网关,bns
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
#IPADDR=20.0.0.18
#NETMASK=255.255.255.0
#GATEWAY=20.0.0.2
#DNS=20.0.0.2
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=5868da39-034a-4151-9d92-e999978d8e60
DEVICE=ens33
ONBOOT=yes
BRIDGE=br0
设置修改br0(桥接模式)
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-br0
[root@localhost ~]# systemctl restart network 服务启动
添加修改
TYPE=Bridge
OTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=br0
DEVICE=br0
ONBOOT=yes
IPADDR=20.0.0.18
NETMASK=255.255.255.0
GATEWAY=20.0.0.2
4.2.3 KVM部署与管理
创建KVM存储和镜像数据的目录、上传centos7镜像
[root@localhost ~]# mkdir -p /data_kvm/iso 创建镜像文件存储文件
[root@localhost ~]# mkdir -p /data_kvm/store 创建虚拟机存储
[root@localhost ~]# mount.cifs //20.0.0.1/作业 /mnt 挂载上传镜像文件
[root@localhost ~]# cd /mnt
[root@localhost mnt]# ls -lh
[root@localhost mnt]# cp CentOS-7-x86_64-DVD-1708.iso /data_kvm/iso/ 上传镜像CentOS7
[root@localhost mnt]# ls /data_kvm/iso/ 查看上传情况
[root@localhost mnt]# cd
1.在虚拟机中打开虚拟系统管理器
[root@localhost ~]# virt-manager
4.2.4 使用虚拟系统管理器管理创建虚拟机
创建设置流程:
1.创建存储池(ISO、STORE)
2.添加存储卷
3.创建虚拟机
1.创建存储池tree步骤
双击打开QEMU/KVM–>存储–>加号(+)–>填写名称–>前进–>浏览–>其他位置–>计算机–>data_kvm–store–>打开–>完成
双击打开QEMI/KVM
同理操作创建存储池apple
选择/data_kvm/iso文件夹
4.2.5 创建存储卷
选择tree存储池创建
即/data_kvm/store文件夹
4.2.6 创建虚拟机
选择镜像文件
在apple存储池中
即/data_kvm/iso
配置内存和CPU大小
配置虚拟机存储卷
在tree存储池中的
即/data_kvm/store/tree.qcow2
选择网络模式为(桥接)
安装前最后一步设置
4.2.7 开始安装
总结
1.传统运维与云平台运维的区别:
1.虚拟化
2.OpenStack
2.注意:
1.虚拟化操作可以提高物理硬件的资源利用率,而不是扩展设备
2.软件资源是没有硬件资源性能高的(稳定和效率)(相同功能情况下)
3:调用与系统调用区别:
调用:是在软件层面暴露一个接口,实现调用与被调用。
系统调用:是在内核层面,将功能封装定义,通过接口暴露出来,当使用接口中的定义的命令时实现操作动作。
接口作用;使管理应用更为方便,简单。
4.解析KVM架构原理:
虚拟机的请求有些不是直接与底层进行交互的,需要通过Qemu进行请求传递
Qemu:隔离一些敏感指令(虚拟机没有权限的操作指令),禁止越权,
KVM会进行拦截,并同时向Qemu发出提醒警告处理。
来源:oschina
链接:https://my.oschina.net/u/4265788/blog/4898372