tensorrt

@ 微星笔记本win10装Ubuntu18+NVIDIA驱动+cuda+cudnn+tensorRT+搜狗 1微星笔记本配置介绍 开始之前做一下介绍，记录一下整个装机过程以及未解决的问题。 笔记本配置：微星绝影GS65 stealth 9SE-670CN 整体配置还好，用来学机器学习的，顺便吐槽，无线网卡真心不好，无线新买的到手一个月坏了，送修，上来就装系统，装完回来又坏了。无奈！！！！！！只能说××微星。 2 装双系统Ubuntu18.04 为了能够方便跑模型，做个双系统。官方指定的维修点说不懂Ubuntu，醉了君莫笑。 开始自己动手…… win10系统下预留空间大小 右键“此电脑”选择“管理”后的“磁盘管理”中，无论是通过-压缩卷-还是，删除卷，预留出来一块没有卷号的灰色区域。 这个区域的作用是：装Ubuntu的时候，自动识别这块的区域，不用指定区域，懒人装法。 我是两块固态（0盘、1盘），刚开始是一个win10，另一个Ubuntu，后来决定合理利用资源，寸土寸金啊。 在0盘上分出170G的空间给Ubuntu，1盘拿来做公共盘，两个系统都用。 制作启动盘 在 Ubuntu官网 或者Ubuntu镜像文件下载系统文件。 下载UltraISO制作U盘启动盘，具体可以参考 U盘安装Ubuntu方法 。 安装Ubuntu系统 关机，重启，按住delete，进入界面后，有一项是-安全启动

Follow Me， Buddy！ 一、写在前面 二、nnUNet框架如何安装？ 1. 你应该配置哪些环境？ 2. 整理你的数据！ ① nnUNet需要你把你要训练的数据做一个好好的整理，初学者请务必按照我的做法，等你熟练掌握以后再考虑新的姿势（有些文件夹的创建时多余的，但是你还是跟着我这样做最好）： 3.设置nnUNet读取文件的路径 三、在Task08_HepaticVessel上进行训练！ 1. 转换一下你的数据集，让它可以被nnUNet识别 2. 预处理 3.开始训练 4.简单说下配置 5.至于调参 四、怎么在自己的训练集上训练？ 一、写在前面 1.笔者对nnUNet的使用也才一个多月，真正进入医疗影像领域也才三个月。对于nnUNet的理解肯定还停留在表层，希望大家在使用的时候能抱着一种纠错的态度，我会很感谢大家的指点！ 2.nnUNet是德国癌症研究中心的工程师编写的框架，迄今为止依旧在维护和更新，希望大家共勉，“抄”出自己的水平的同时，协助框架的维护，也是在帮助中国医疗行业（手动狗头）。 3.此框架仅在Ubuntu18.04上进行过安装，win上需要键入参数运行，框架作者的建议也是在linux系统。作者建议不在conda的环境下，但我的框架在两个服务器三台主机上都未遇到什么conda的问题。1.5.1+cu10.1 4

以下内容根据个人理解整理而成，如有错误，欢迎指出，不胜感激。 0. 写在前面 由于近期的工作需要用到TensorRT和TensorRT Inference Server，自己也是第一次接触，因此在这里记录下相关的学习和使用笔记，内容主要来自于官方相关文档，如 TensorRT Developer Guide 等。 本文主要记录TensorRT相关的基础知识，主要包括以下几个方面： 什么是TensorRT TensorRT的工作原理 TensorRT学习资源总结 1. 什么是TensorRT 可以把TensorRT看做一个“深度学习框架”，不同于常用的TensorFlow、PyTorch和Caffe等深度学习框架，TensorRT的目的不是如何训练我们的深度学习模型，而是考虑如何将那些使用其他框架训练好的模型进行高效快速的Inference。 官方 的这张图可以很明确的说明TensorRT的作用：用于模型训练完之后的部署阶段，以进行高效低延时的Inference： 要注意，TensorRT是NVIDIA配套其相关GPU提供的，并不支持在CPU和其他GPU上使用。 2. TensorRT的工作原理 这里会有疑问： 直接使用TensorFlow和PyTorch等模型进行部署不可以吗？ 这当然是可以的，只是TensorRT是一个专用的Inference工具，使用它进行部署会使模型运行更高效

　　机器之心报道 　　 机器之心编辑部 　　 昨日，腾讯发布了在 GitHub 上的第 100 个开源项目「TurboTransformers」，在多种 CPU 和 GPU 硬件测试中，这款 Transformer 推理加速工具获得了超越 PyTorch/TensorFlow 和目前主流优化引擎的性能表现。 　　 　　在自然语言处理领域，以 BERT 为代表的 Transformer 神经网络模型是近年来最重要的模型创新，为诸如阅读理解、文章摘要、语义分类、同义改写等 NLP 任务带了显著的效果提升。但 Transformer 在提高模型精度的同时，也引入了更多的计算量，这导致 Transformer 的线上 NLP 服务在部署方面面临着巨大挑战。 　　 　　业界普遍采用 TensorFlow 或者 Pytorch 来完成 Transformer 的训练部分，但由于深度学习的训练和推理任务存在差异，训练框架直接应用于线上推理并不能得到极致的性能。 　　昨日，腾讯宣布开源 Transformer 推理加速工具「TurboTransformers」。Turbo 的意思是「涡轮」，一般用来增加发动机氧气含量，带来更大动力，TurboTransformers 则意味着可使推理引擎更加强劲。 　　项目地址：https://github.com/Tencent

3 月，跳不动了？>>> 假如问在深度学习实践中，最难的部分是什么？猜测80%的开发者都会说： “当然是调参啊。” 为什么难呢？因为调参就像厨师根据食材找到了料理配方，药剂师根据药材找到了药方，充满了玄幻色彩。 但是， 掌握了调参，顶多算深度学习的绝学掌握了一半。而另一半就是“模型部署”。 模型部署有什么难的？举个例子：前面这位大厨在培训学校，经过各种训练掌握了很多料理配方，终于要到酒店上任了，却发现酒店的厨房环境和训练时不一样，就餐高峰时手忙脚乱，客户等了1个小时还没上菜，结果第一天上岗就被投诉了。 虽然比喻略有夸张，却也道出了深度学习模型训练和推理部署的关系。 我们知道，深度学习一般分为训练和推理两个部分，训练是神经网络“学习”的过程，主要关注如何搜索和求解模型参数，发现训练数据中的规律。 有了训练好的模型之后，就要在线上环境中应用模型，实现对未知数据做出预测，这个过程在AI领域叫做推理。 在实际应用中，推理阶段可能会面临和训练时完全不一样的硬件环境，当然也对应着不一样的计算性能要求。我们训练得到的模型，需要能在具体生产环境中正确、高效地实现推理功能，完成上线部署。 所以，当我们千辛万苦训练好模型，终于要上线了，但这个时候可能会遇到各种问题，比如： 线上部署的硬件环境和训练时不同 推理计算耗时太高, 可能造成服务不可用 模型上的内存占用过高无法上线 对工业级部署而言

概述 关于使用TensorRT对网络进行加速的基本工作在 深度学习系列五：使用TensorRT对网络进行加速 中描述很详细了，这里主要记录下在迁移到7.0时，顺便解决了之前ResizeNearestNeighbor这个层在uff模型中无法直接支持必须外挂plugin的问题。 Keras模型转ONNX模型 之前使用6.0时，采用的方案是Keras模型转uff模型，再创建engine，其实从官方文档可以看出来，目前TensorRT对onnx支持更好，它对onnx支持的层是最多的，这样容易理解，毕竟onnx可以由各种模型转化得到，因此本次使用onnx模型建立engine，转化可以使用 keras-onnx库 ，安装也很简单： pip3 install keras2onnx 安装完成后使用api进行转换，非常简单，当然还必须安装tensorflow或者keras： import keras2onnx import onnx # load keras model model = tf . compat . v1 . keras . models . load_model ( model_path ) # convert to onnx model onnx_model = keras2onnx . convert_keras ( model , model . name , target

tensorRT5.1.5.0安装 官网安装并解压： https://developer.nvidia.com/nvidia-tensorrt-5x-download 添加环境变量： export LD_LIBRARY_PATH = $LD_LIBRARY_PATH : / home / wxy / TensorRT - 5.1 .5 .0 / lib pip安装python版本，装在你的python环境下 cd TensorRT - 5.1 .5 .0 / python pip install tensorrt - 5.1 .5 .0 - cp36 - none - linux_x86_64 . whl ##验证是否成功 import tensorrt yolov3转onnx转trt yolov3转onnx 官方推荐python2，修改一下代码python3也可以运行，yolov3_to_onnx.py修改 1. parse_cfg_file函数里面remainder = cfg_file . read ( ) . decode ( ) 2 . if sys . version_info [ 0 ] > 2 : 这两句话判断python版本的注释掉 3. download_file函数md5哈希验证取消掉就可以了 执行python yolov3_to_onnx . py