量化模型

1. 什么是合成数据？ 计算机认为制造数据，而不是从实际情况中测量、收集数据时，被称为合成数据。但是合成数据也是来源自实际情况中的测量、收集数据。数据是匿名的，并给予用户指定的参数创建，以便尽可能接近来自真实场景的数据的属性。创造和成数据的一种方法是使用现实世界中的数据，生成一个可以从真实数据中学习的模型，也可以创建一个近似于真实数据属性的数据集。 衡量合成数据的标准就是合成数据与实际数据之间的差距尽可能缩小。 2.合成数据的优点 大多数情况下，创建合成数据比手机真实世界的数据更高效、更经济。可以根据需求、规范创建，而不是在实际数据发生时等待收集数据。合成数据还可以补充现实世界中的数据，这样即使在真实数据集中没有好的示例，也可以对每个可以想象的变量进行测试，这使组织能够贾诩系统性能测试和新系统的培训。 3. 合成数据的缺点 创建高质量的合成数据具有挑战性，尤其在系统复杂的情况下，重要的是创建合成数据声场模型是优秀的，否则它生成的数据将受到影响。如果合成数据与实际数据集几乎不相同，那么它会影响基于数据进行决策的质量。即使合成数据确实很好，但仍是真实数据集特定属性的副本。模型寻找要复制的趋势，因此可能会忽略一些随机行为。 4. 合成数据是“适用于特定情况的任何生产数据，不能通过直接测量获得”。 5. 合成数据是提高深度学习系统训练和准确性的工具。 6.完全合成：此数据不包含任何原始数据

神经网络模型量化方法简介 https://chenrudan.github.io/blog/2018/10/02/networkquantization.html 2018-10-02 本文主要梳理了模型量化算法的一些文章，阐述了每篇文章主要的内核思想和量化过程，整理了一些对这些文章的分析和看法。 【转载请注明出处】 chenrudan.github.io 随着神经网络算法的发展，网络性能虽然越来越强大，但是也耗费了太多的计算资源和内存，为了得到更有效率的网络以及能部署在移动端，近几年神经网络的压缩算法成了一个研究热点，主要的网络压缩途径有五种，量化、剪枝、低秩分解、教师-学生网络、轻量化网络设计，量化就是将以往用32bit或者64bit表达的浮点数用1bit、2bit占用较少内存空间的形式进行存储。剪枝的目的是为了去掉一些不重要的神经元、连接、通道等，低秩分解主要是通过各种分解方法用精简的张量来表达复杂张量，教师-学生网络间接通过提升小网络性能来压缩学生网络的规模，一般可以与其他压缩方法同时使用，轻量化网络设计主要是类似MobileNet这种设计的非常精简但性能又好的网络。几种方法都各有特点，都是值得研究和讨论的，本文主要针对量化算法近几年的发展做一个梳理和归纳，我觉得量化算法有几个特点， 理论简单，公式少，性能稳定且trick多。 下图1