ONNX

https://main.run/p/121 每隔一段时间，这个话题就出现在社交媒体或Rust用户频道上。 我想简要介绍一下我所看到的事情的历史，以及有关机器学习/深度学习框架的现有变化以及最近的主要趋势的一些信息。 BRIEF HISTORY AND WHERE ARE WE NOW? 现有的 ML/DL 生态系统非常庞大，因为它们是高性能计算、数学优化、系统和编译器工程等的组合。 因此，为了简单起见，如果我们将ML划分为传统ML和DL(包括重叠)，然后我们可以看到 rusty-machine , rustlearn 和 leaf 。他们做了非常有趣和大胆的发展， 特别是当时的 leaf 。最终，他们大多放弃了，因为创建一个完整的开源ML/DL框架需要大量的工作： 语言和库的支持 (稍后会介绍) 基本成熟的线性代数和统计学方面的库 一个由ML专家组成的社区，他们碰巧知道Rust并愿意做出贡献 主流的现有ML库(主要使用Python/Cython或c++)都是在这些支持下开发的，Rust也不例外。 语言和库的支持 之前，Gonzalo 列出了一份 HPC 清单，到目前为止，我可以说 Rust 通过语言（稳定/不稳定）特性和 crates 支持了其中大多数条目，希望到今年年底我们能看到越来越多的支持。 但是 constant-generics (更好的数组支持), 稳定的 std:

以下内容根据个人理解整理而成，如有错误，欢迎指出，不胜感激。 0. 写在前面 由于近期的工作需要用到TensorRT和TensorRT Inference Server，自己也是第一次接触，因此在这里记录下相关的学习和使用笔记，内容主要来自于官方相关文档，如 TensorRT Developer Guide 等。 本文主要记录TensorRT相关的基础知识，主要包括以下几个方面： 什么是TensorRT TensorRT的工作原理 TensorRT学习资源总结 1. 什么是TensorRT 可以把TensorRT看做一个“深度学习框架”，不同于常用的TensorFlow、PyTorch和Caffe等深度学习框架，TensorRT的目的不是如何训练我们的深度学习模型，而是考虑如何将那些使用其他框架训练好的模型进行高效快速的Inference。 官方 的这张图可以很明确的说明TensorRT的作用：用于模型训练完之后的部署阶段，以进行高效低延时的Inference： 要注意，TensorRT是NVIDIA配套其相关GPU提供的，并不支持在CPU和其他GPU上使用。 2. TensorRT的工作原理 这里会有疑问： 直接使用TensorFlow和PyTorch等模型进行部署不可以吗？ 这当然是可以的，只是TensorRT是一个专用的Inference工具，使用它进行部署会使模型运行更高效

从零开始搭建一个python项目 1.下载python 链接：https://pan.baidu.com/s/18ElSsQv_7rC-o5OnnX7Iug 提取码：jybu 2.下载pycharm 链接：https://pan.baidu.com/s/1wLvzjzuQ_zwS7D9OmBTd4A 提取码：00hy 3.新建项目 1.打开pycharm编辑器 2.Create new Project 4.选择pure python 1.选择Pure Python 2.Location 选择项目安装路径 5.新建helloWord.py 1.在项目右键,新创建一个"helloword"python文件; 2.输入print("hello word!") 6.添加服务 1.点击右侧 Add Configuration 2.添加python 3.script path选择新建的helloword.py文件 7.启动 1.点击绿色小三角,启动项目 2.下方控制台显示"helloword!" 来源： oschina 链接： https://my.oschina.net/qinghuo111/blog/4269441

opencv，读取摄像头 https://github.com/tw0226/onnx_model_to_C-/blob/bb54aef3db3b9f37229c8fbc27d2b64db6950924/onnx_convert/main.cpp https://github.com/tw0226/onnx_model_to_C-/blob/bb54aef3db3b9f37229c8fbc27d2b64db6950924/onnx_convert/onnx_to_cpp.cpp torch 队列 线程： https://github.com/nexuslrf/Accel-Video-Pipe/blob/3b1fa886c474da0b5c660b043bb5ad3496652b4a/palm-detection.cpp https://github.com/nexuslrf/Accel-Video-Pipe/blob/99278495b7ee8ef99ccb2ba00dc06d2a895b36d0/speed-bench.cpp https://github.com/nexuslrf/Accel-Video-Pipe/blob/1883241ac5d3c0aa06629e733b80c5bbfa5ec105/multi-model.cpp 手部关键点 blaze_hand.onnx

【推荐阅读】微服务还能火多久？>>> 废话不说，上代码 retina face， import os import time from math import ceil import onnxruntime import numpy as np import cv2 import argparse import argparse import numpy as np from data import cfg_mnet, cfg_peleenet from utils.nms.py_cpu_nms import py_cpu_nms from math import ceil from itertools import product as product #sigmoid函数 def sigmoid(x): s = 1 / (1 + np.exp(-1*x)) return s def softmax(x, axis=1): # 计算每行的最大值 row_max = x.max(axis=axis) # 每行元素都需要减去对应的最大值，否则求exp(x)会溢出，导致inf情况 row_max = row_max.reshape(-1, 1) x = x - row_max x_exp = np.exp(x) x_sum = np.sum(x_exp, axis=axis,

【推荐阅读】微服务还能火多久？>>> 今天看到一篇文章 Google’s Image Classification Model is now Free to Learn 说是狗狗的机器学习速成课程（Machine Learning Crash Course）现在可以免费学习啦，因为一开始年初的时候是内部使用的，后来开放给大众了。大家有谁对不作恶家的机器学习感兴趣的话，可以点击连接去看看。 但是以上不是我说的重点。 说狗狗的原因，是为了引出我大微软的机器学习。 在2018年3月7日，在Windows开发者日活动中，微软宣布推出Windows人工智能平台 Windows ML 。 ML means machine learning, not make love. Understand??? 在Windows ML平台下，开发人员能够将不同的AI平台导入现有的学习模型，并在安装了Windows10系统的PC设备上使用预先培训的ML模型，并利用CPU和GPU（AMD，Intel，NVIDIA、Qualcomm）硬件进行加速，而非云端。从而加快对本地图像及视频数据的实时分析，甚至是后台任务的改进。 此外该技术支持 ONNX格式 的ML模型行业标准，开发者能够添加ONNX文件至UWP应用中，在并项目中生成模型界面。 目前微软已将自家的AI技术融入进了Office 365、Windows 10

【推荐阅读】微服务还能火多久？>>> 今天看到一篇文章 Google’s Image Classification Model is now Free to Learn 说是狗狗的机器学习速成课程（Machine Learning Crash Course）现在可以免费学习啦，因为一开始年初的时候是内部使用的，后来开放给大众了。大家有谁对不作恶家的机器学习感兴趣的话，可以点击连接去看看。 但是以上不是我说的重点。 说狗狗的原因，是为了引出我大微软的机器学习。 在2018年3月7日，在Windows开发者日活动中，微软宣布推出Windows人工智能平台 Windows ML 。 ML means machine learning, not make love. Understand??? 在Windows ML平台下，开发人员能够将不同的AI平台导入现有的学习模型，并在安装了Windows10系统的PC设备上使用预先培训的ML模型，并利用CPU和GPU（AMD，Intel，NVIDIA、Qualcomm）硬件进行加速，而非云端。从而加快对本地图像及视频数据的实时分析，甚至是后台任务的改进。 此外该技术支持 ONNX格式 的ML模型行业标准，开发者能够添加ONNX文件至UWP应用中，在并项目中生成模型界面。 目前微软已将自家的AI技术融入进了Office 365、Windows 10

3 月，跳不动了？>>> ONNX Models to be Runnable Natively on 100s of Millions of Windows Devices March 7, 2018 by ML Blog Team This post was authored by Eric Boyd, CVP, AI Data & Infrastructure. Today Microsoft is announcing the next major update to Windows will include the ability to run Open Neural Network Exchange (ONNX) models natively with hardware acceleration. This brings 100s of millions of Windows devices, ranging from IoT edge devices to HoloLens to 2-in-1s and desktop PCs, into the ONNX ecosystem. Data scientists and developers creating AI models will be able to deploy their innovations to

整体进度： https://github.com/apachecn/pytorch-doc-zh/issues/422 贡献指南： https://github.com/apachecn/pytorch-doc-zh/blob/master/CONTRIBUTING.md 项目仓库： https://github.com/apachecn/pytorch-doc-zh 贡献指南 请您勇敢地去翻译和改进翻译。虽然我们追求卓越，但我们并不要求您做到十全十美，因此请不要担心因为翻译上犯错——在大部分情况下，我们的服务器已经记录所有的翻译，因此您不必担心会因为您的失误遭到无法挽回的破坏。（改编自维基百科） 可能有用的链接： 英文文档 英文教程 负责人： 片刻 ：529815144 Alex : 1272296763 Holly : 514397511 章节列表 中文教程 入门 PyTorch 深度学习: 60 分钟极速入门 数据加载和处理教程 用例子学习 PyTorch 部署与TorchScript一个Seq2Seq模型 可视化模型，数据，和与训练TensorBoard 保存和加载模型 torch.nn 到底是什么？ TorchVision对象检测教程细化和微调 微调Torchvision模型 空间变压器网络教程 使用PyTorch进行神经网络传递 对抗性示例生成 DCGAN教程 音频