DFace

不同于人类，计算机「看待」世界有自己的方式。为了达到类似人类的视觉水平，各种算法层出不穷，本篇就来窥探其冰山一角。 机器之心原创，作者：陈萍。 我们生活的世界是一个三维物理空间。直观而言，三维视觉系统有助于机器更好地感知和理解真实的三维场景。三维视觉作为计算机视觉的一个比较重要的研究方向，在过去几十年间得到了扎实和系统地发展，形成了一套完整的理论体系。近年来，随着三维成像技术如激光雷达、TOF 相机及结构光等的快速发展，三维视觉研究再次成为研究热点。 在 上一篇文章 中，我们对 3D 视觉基础相关内容进行了概括性总结，本文我们将进行比较深层次的介绍，主要涉及 3D 视觉算法及其应用领域。 3D 目标检测多模态融合算法 基于视觉的目标检测是环境感知系统的重要组成，也是计算机视觉、机器人研究等相关领域的研究热点。三维目标检测是在二维目标检测的基础上，增加目标尺寸、深度、姿态等信息的估计。相比于二维目标检测，三维目标检测在准确性、实时性等方面仍有较大的提升空间。 在目标检测领域，2D 目标检测方面发展迅速，出现了以 R-CNN、Fast RCNN、Mask RCNN 为代表的 two-stage 网络架构，以及以 YOLO、SSD 为代表的 one-stage 网络架构。然而由于 2D 图像缺乏深度、尺寸等物理世界参数信息，在实际应用中存在一定局限性，往往需要结合激光雷达

Abstract摘要 In this paper, a new technique for modeling textured 3D faces is introduced. 3D faces can either be generated automatically from one or more photographs, or modeled directly through an intuitive user interface. Users are assisted in two key problems of computer aided face modeling. First, new face images or new 3D face models can be registered automatically by computing dense one-to-one correspondence to an internal face model. Second, the approach regulates the naturalness of modeled faces avoiding faces with an “unlikely” appearance. 本文介绍了一种新的三维纹理人脸建模技术。三维面可以从一张或多张照片自动生成

博一下学期： 1.week1,2018.2.26 2006-Extreme learning machine: theory and applications 期刊来源：Huang G B, Zhu Q Y, Siew C K. Extreme learning machine: theory and applications[J]. Neurocomputing, 2006, 70(1-3): 489-501. 2.week2,2018.3.5 2017-3d-prnn: Generating shape primitives with recurrent neural networks University of Illinois at Urbana-Champaign, Adobe Research(美国伊利诺伊大学厄巴纳 - 香槟分校，Adobe研究院) 期刊来源：Zou C, Yumer E, Yang J, et al. 3d-prnn: Generating shape primitives with recurrent neural networks[C]//The IEEE International Conference on Computer Vision (ICCV). 2017. 3.week3,2018.3.12;week7,2018.4.9;week8

方法1 Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression http://aaronsplace.co.uk/papers/jackson2017recon/ demo http://cvl-demos.cs.nott.ac.uk/vrn/index.php 原始图像 3D角度1 3D角度2 方法2 来源： oschina 链接： https://my.oschina.net/u/4257655/blog/3965464

Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression 　　该文献采用一个新型的VRN网络对任意的面部姿势和表情的2D图片进行3D面部重建，并绕过3D可变模型的构造（在训练期间）和拟合（在测试期间）。 volumetric representation 　　文献中是通过CNN回归来预测3D面部的顶点，直接对所有的3D面部点进行预测的话不利于VRN的学习。该文献中将mesh转换为voxel,变成一个192*192*200的矩阵。这样就比较适合CNN。我们先看看mesh和voxel的区别：下面的第一张图是mesh，可以看出就是一个曲面；第二张是voxel，可以看出人脸是由很多个立方体构成的。 作者给出了voxel转成obj的脚本，运行出来是这样的： 这是一个封闭的曲面。这就有个问题了，由CNN预测出来的3D人脸的顶点是不固定的，也就是我们还需要进行一步对齐，将一个固定顶点的模板对齐到CNN预测出来的3D人脸。 mesh转voxel可以用binvox这个工具。 Volumetric Regression Networks(VRN) 　　该网络由两个Hourglass Networks构成（ HN网络 ），两个NH的结构类似，第二个NH对第一个NH的输出进行优化。

为了开发类似visio、AutoCAD、Simulink、UML以及组态类软件，需要有矢量绘图引擎的支撑。矢量绘图引擎的功能通常包括： 基本图元的绘制，如：线、矩形框、圆 图形组合 图形选择、缩放、平移、旋转等 图层叠加 图形的持久化等等 下面就对两款矢量绘图引擎进行了对比，希望对您的使用有帮助。 VectorDraw Developer Framework 产品介绍 VectorDraw Developer Framework（VDF） 是一个用于应用程序可视化的图形引擎库。有了VDF提供的功能，您可以轻松地创建、编辑、管理、输出、输入和打印2D和3D图形文件。该库还支持许多矢量和栅格输入和输出格式，包括本地PDF和SVG导出。 功能特点 简单的绘图实体 3DFace Circle Image PolyFace 绘图实体 Grips Snap Tooltips Osnaps 3D功能： 呈现类型：Wire 2D、Wire 3D、Hide、Shade、Shade On、Render(applying materials, transparency & lights)。 视图：透视、垂直。 灯光、3D部分剪切、透明、多用户坐标系。 vdGroundSurface Object支持Mapped Images Over Surfaces，以生成一个Photorealistic

首先介绍一下 MTCNN 的网络结构， MTCNN 有三种网络，训练网络的时候需要通过三部分分别进行，每一层网络都依赖前一层网络产生训练数据供当前训练网络，这样也推动了两个网络之间的最小损耗。 Pnet Rnet Onet MTCNN 的人脸模型按照以上结构按照三部分进行训练。 DFace 有两个主要模块，即检测和识别。在这两个模块中，我们提供了有关如何训练模型和运行的所有教程。 首先设置一个 pytorch 和 cv2 ，版本要求： * pytorch==0.4.0 * torchvision==0.2.0 * opencv-python==3.4.0.12 pip install torch==0.4.0 torchvision==0.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple pip install opencv-python==3.4.0.12 -i h ttps://pypi.tuna.tsinghua.edu.cn/simple h 安装依赖库 matplotlib ： pip install matplotlib （ 1 ）首先将 DFace 包 git 到本地用户目录，不要放在根目录： git clone https://github.com/tuvia0213/DFace.git （ 2 ）添加 DFace