MKL-DNN

去年，TVM 开发团队陈天奇等人创建了 OctoML 公司 ，旨在「让机器学习可以部署在所有硬件上」。前段时间，该公司推出了第一个软件即服务产品 Octimizer ，可以帮助开发者更方便、快捷地将 ML 模型部署到设备上。近日，该公司官方博客又介绍了一种快速端到端二值神经网络——Riptide，使用 TVM 进行优化时可以实现最高 12 倍的端到端加速。该公司机器学习系统工程师 Josh Fromm 在博客中介绍了 Riptide 的细节。 选自medium，作者：Josh Fromm，机器之心编译，机器之心编辑部。 Riptide 是一种新的模型量化方法，可以将模型量化至 1、2 位。研究团队今年三月在 MLSys 上介绍了 Riptide，这篇文章主要讲一下为什么要构建 Riptide，并快速了解它的幕后工作原理。团队计划来年将 Automatic ultra low-bit 功能添加到 Octomizer 中。在此之前，读者可以使用开源 Riptide 项目和 MLSys 论文中的信息来进行模型优化。 论文链接： https:// proceedings.mlsys.org/s tatic/paper_files/mlsys/2020/155-Paper.pdf GitHub 项目： https:// github.com/jwfromm/Ript ide 、 动机及背景

3 月，跳不动了？>>> 假如问在深度学习实践中，最难的部分是什么？猜测80%的开发者都会说： “当然是调参啊。” 为什么难呢？因为调参就像厨师根据食材找到了料理配方，药剂师根据药材找到了药方，充满了玄幻色彩。 但是， 掌握了调参，顶多算深度学习的绝学掌握了一半。而另一半就是“模型部署”。 模型部署有什么难的？举个例子：前面这位大厨在培训学校，经过各种训练掌握了很多料理配方，终于要到酒店上任了，却发现酒店的厨房环境和训练时不一样，就餐高峰时手忙脚乱，客户等了1个小时还没上菜，结果第一天上岗就被投诉了。 虽然比喻略有夸张，却也道出了深度学习模型训练和推理部署的关系。 我们知道，深度学习一般分为训练和推理两个部分，训练是神经网络“学习”的过程，主要关注如何搜索和求解模型参数，发现训练数据中的规律。 有了训练好的模型之后，就要在线上环境中应用模型，实现对未知数据做出预测，这个过程在AI领域叫做推理。 在实际应用中，推理阶段可能会面临和训练时完全不一样的硬件环境，当然也对应着不一样的计算性能要求。我们训练得到的模型，需要能在具体生产环境中正确、高效地实现推理功能，完成上线部署。 所以，当我们千辛万苦训练好模型，终于要上线了，但这个时候可能会遇到各种问题，比如： 线上部署的硬件环境和训练时不同 推理计算耗时太高, 可能造成服务不可用 模型上的内存占用过高无法上线 对工业级部署而言