caffe

在深度学习领域，Caffe框架是人们无法绕过的一座山。 这不仅是因为它无论在结构、性能上，还是在代码质量上，都称得上一款十分出色的开源框架。更重要的是，它将深度学习的每一个细节都原原本本地展现出来，大大降低了人们学习研究和开发的难度。 一、从Caffe的开发中了解到的用户需求： 深度学习的框架总会不断改变，Caffe也会有被新框架代替的一天。但是在开发Caffe的过程中，贾扬清发现大家喜欢的框架其实有着很多相似的地方，这些闪光点拥有很长的生命周期，发现并掌握人们这些共同偏好将为以后开发新的框架积累经验。 Caffe之所以广受欢迎可能是因为有以下的四个特点： 　　1、 稳定的模型架构 　　Caffe通过Protobuf来定义一个网络的结构，而这个由Google开源的库具有优秀的版本兼容性。随着Caffe的框架源码的不断更新迭代，之前定义的网络结构依然能兼容解析，模型仍然能正确加载运行。 　　2、较好的设备抽象 　　合理的设备抽象能够精简代码，提高框架适用性。在这方面Caffe做了比较好的尝试，模型的训练和使用与不同的平台耦合比较低，只要平台能解析网络结构并读取二进制的模型参数，就能运行该模型。这样大大拓展了框架的应用范围，自然更加符合用户的使用需求。 　　3、清晰的说明教程 　　如何让首次接触到框架的人通过说明教程就能最快地熟悉运用，这对于一个新面世的框架来说尤为重要

Alex、Hinton等人在2012年的NIPS论文《ImageNet Classification with Deep Convolutional Neural Networks》中将LRN应用于深度神经网络中(AlexNet)。论文见： http://www.cs.toronto.edu/~hinton/absps/imagenet.pdf ，截图如下： 公式解释： ：ReLU处理后的神经元，作为LRN的输入； ：LRN的输出，LRN处理后的神经元； N：kernal总数或通道数； k、n、 、 ：为常量，是超参数，k类似于bias，n对应于Caffe中的local_size，在论文中这几个值分别为2、5、 、0.75。 LRN(Local Response Normalization)：局部响应归一化，此层实现了” lateral inhibition”(侧抑制)，通过对局部输入区域进行归一化来执行一种”侧抑制”。在AlexNet中，处理ReLU神经元时，LRN很有用，因为ReLU的响应结果是无界的，可以非常大，所以需要归一化。当处理具有无限激活(unbounded activation)的神经元时(如ReLU)，可以通过LRN对其归一化(normalize)，因为它允许检测具有大神经元响应的高频特征(high-frequency features)，同时衰减局部周围

本文转载于： 子棐之GPGPU 的 TensorRT系列入门篇 学习一下加深印象 Why TensorRT 训练对于深度学习来说是为了获得一个性能优异的模型，其主要的关注点在与模型的准确度、精度等指标。推理（inference）则不一样，其没有了训练中的反向迭代过程，是针对新的数据进行预测，而我们日常生活中使用的AI服务都是推理服务。相较于训练，推理的关注点不一样，从而也给现有的技术带来了新的挑战。 需求 现有框架的局限性 影响 高吞吐率 无法处理大量和高速的数据 增加了单次推理的开销 低响应时间 应用无法提供实时的结果 损害了用户体验（语音识别、个性化推荐和实时目标检测） 高效的功耗以及显存消耗控制 非最优效能 增加了推理的开销甚至无法进行推理部署 部署级别的解决方案 非专用于部署使用 框架复杂度和配置增加了部署难度以及生产率 根据上图可知，推理更关注的是高吞吐率、低响应时间、低资源消耗以及简便的部署流程，而TensorRT就是用来解决推理所带来的挑战以及影响的部署级的解决方案。 TensorRT的部署流程 TensorRT的部署分为两个部分： 　　1. 优化训练好的模型并生成计算流图 　　2. 使用TensorRT Runtime部署计算流图 那么我们很自然的就会想到下面几个问题？ 　　1. TensorRT支持什么框架训练出来的网络模型呢？ 　　2.

python命令行中import caffe报错的解决方案 参考文章： （1）python命令行中import caffe报错的解决方案 （2）https://www.cnblogs.com/alan666/p/8311832.html 备忘一下。 来源： oschina 链接： https://my.oschina.net/u/3797416/blog/4782716

哇！今天挺开心的，30天的时间，19篇文章，2459人阅读，5313人次阅读！今天开通的原创标识，恩！除了激动，就是非常感谢大家的支持！ 感谢大家的支持！ 大家的支持！ 的 支持！ 支持！ 持！我会继续努力的！我们一起进步！(./鞠躬！） ***** ** *** *** *****分割线 ********** *** ** *** 在学习TensorFlow之前，先给大家安利一波其他的几个库，主要有caffe，CNTK，keras，Theano，Torch，MaxNet。 总的来说，Caffe，CNTK这类是基于配置文件来定义模型，而Torch，Theano，Keras，TensorFlow是基于语言来定义模型。其中Torch是基于lua，一个比较小众的语言，不过也有了Python版。基于Python的有Theano，TensorFlow，Keras。Theano是和TensorFlow最像的一个，应该说TensorFlow是受到了Theano的启发而开发的，他们都是利用了tensor张量的思想。但是Theano是由LISA lab基于学术目的而开发的一套底层算法库，而TensorFlow是由google支持的。他俩主要区别还在于TensorFlow支持分布式编程。 下面有些网址可能打不开，这不是说链接无效~，而是需要“翻墙”，我觉得肯定有人不知道怎么办，就像我刚听说的时候

简介： 今年年初，图森未来的无人驾驶卡车还上了“钢铁侠”的扮演者小罗伯特·唐尼主持的科技聚集剧集《The Age of A.I.》（《AI时代》），在剧中不仅顺利完成无人驾驶的行驶任务，还与围追堵截的摄像车“斗智斗勇”，在摄像车各种找拍摄角度的情况下，自动自我调整，化险为夷，避让既礼貌又安全！ 图森未来（TuSimple）成立于2015年，是一家专注于L4级无人驾驶卡车技术研发与应用的人工智能企业，已经实现卡车在干线物流场景和半封闭枢纽场景下的无人干预驾驶。图森未来品牌旗下产品——图森未来 L4 级别无人驾驶卡车能够实现环境感知、定位导航、决策控制等自动驾驶核心功能，可应用于高速公路货运和港内集装箱码头运输及其相似场景。 公司于2019年9月完成总额2.15亿美元D轮融资，资方：UPS、鼎晖资本、万都中国、累计融资超过3亿美元，最新估值超过12亿美元，是卡车无人驾驶头部企业，也是全球第一家无人驾驶卡车独角兽企业。 图森未来的业务主要在美国和国内两地展开，在美国主要是高速公路干路货运场景，国内业务开始以连接枢纽场景的干线物流货运为主。 在美国，图森未来已经向包括UPS、USPS、McLane、U.S. Xpress在内的18家客户提供无人驾驶物流服务。 今年年初，图森未来的无人驾驶卡车还上了“钢铁侠”的扮演者小罗伯特·唐尼主持的科技聚集剧集《The Age of A.I.》（

CNN中，增加Padding过后，为我们带来的那些负面影响。 如上图所示: 第一行为普通3x3卷积，步长1，padding 0, 第二行为普通3x3卷积，步长1，padding 1, 第三行为膨胀3x3卷积,dilation rate=3，步长1，padding 3. 上图箭头右向所指，为cnn底层在caffe 和darknet的底层实现，用c或c++，至于pytorch和tensorflow 是否也是这样实现cnn我不清楚，但是目前来讲，有效实现卷积的也就3种方式， im2col(上图) ，winograd, FFT，但是还是im2col比较常见，winograd好像是商汤最近几年提出来的，通过特殊数学计算方式，减少计算量，目前该方法被应用在腾讯移动端深度学习框架NCNN中，至于FFT，还没见到用在深度学习种。 至于为什么使用im2col,这还是贾清扬大神在写caffe时提出来的，因为图像中，一个块内的像素点在内存中是地址不连续的，所以对于同一个块内的像素想要缓存到cache上，可能出现多次内存访问，效率极低，所以设计出im2co方式，提前将需要计算的像素点放在连续地址上。 因此，对于同一图像，除了原始图像在内存中占空间，使用im2col又会消耗另一份空间。 如上图所示,对于8x8的图像: 不加padding,计算量为9x36=324, 内存消耗为8x8=64,有效内存为64

这个步骤可以看做是安装caffe可以进行或者不必要的步骤，不过笔者建议安装anaconda2和anaconda3，里面会包含很多的模块，省去caffe学习过程中出现模块不存在的各种错误。 第一步、进入 anaconda官网 下载安装包 Installing Anaconda2 & Anaconda3 concurrently 已经安装好Anaconda2的条件下安装Anaconda3 conda create -n py35 python=3.5 anaconda 运行环境切换： 进入py35环境 source activate py35 退回py27环境 source deactivate py35 已经安装好Anaconda3的条件下安装Anaconda2 conda create -n py27 python=2.7 anaconda 进入py27环境 source activate py27 退回py35环境 source deactivate py27 安装： 将下载好的Anaconda 放到home文件夹下执行以下代码 进入home目录 cd ~ 然后执行安装代码 bash Anaconda3-5.1.0-Linux-x86_64.sh 或者 bash Anaconda2-5.1.0-Linux-x86_64.sh 验证是否安装成功执行： python2 -