以下方法亲测成功（VirtualBox版本5.2.x）：
首先把虚拟机关闭，退出VirtualBox（这一步是否必须不确定，我是这么做的）。
我的虚拟机名为mac10.13，VirtualBox安装目录为默认目录。
#方法一 cd "C:\Program Files\Oracle\VirtualBox" VBoxManage setextradata "mac10.13" CustomVideoMode1 1920x1080x32 #数组间的符号为小写字母x, 下同 VBoxManage setextradata "mac10.13" VBoxInternal2/EfiGraphicsResolution 1920x1080 #方法二 cd "C:\Program Files\Oracle\VirtualBox" VBoxManage setextradata "mac10.13" VBoxInternal2/EfiHorizontalResolution 1920 VBoxManage setextradata "mac10.13" VBoxInternal2/EfiVerticalResolution 1080优先推荐使用方法一，方法二对VirtualBox和虚拟机系统的版本要求更加严格。
执行完以上命令启动虚拟机即可。
文章来源: VirtualBox调整虚拟机分辨率