imagenet

因为imageNet放在230节点上，如果不把数据down到其他服务器上的话，只能使用polyaxon调度跑代码，而在使用polyaxon过程中程序不知道为什么总是崩掉，猜测和读取imageNet的图片路径有关，因此想了另一个办法，把数据down下来，一开始想的是先down到本地，再上传到其他服务器上，而光光down val这个文件（4个多G）就用了1个多小时，可想而知down train这个文件，再把train和val上传到服务器一共需要耗时多久了，因此学习了scp这个命令，可以在服务器之间进行文件拷贝传输，命令是： scp -r /home/data/plx-data/imageNet/val hyq@10.15.82.235:/home/hyq/data/imageNet 在230上运行，也就是把230上的/home/data/plx-data/imageNet/val路径下所有文件，包括val这个文件夹，拷贝到235的/home/hyq/data/imageNet路径下，但是我仍然需要在后台执行，这样的话才方便，不会因为关电脑而导致传输失败，因此使用了nohup命令，但是失败了，显示进程状态是T nohup scp -r /home/data/plx-data/imageNet/val hyq@10.15.82.235:/home/hyq/data/imageNet &

I am trying to run imagenet example in Caffe. In this( https://github.com/BVLC/caffe/tree/master/examples/imagenet ) page they say We assume that you already have downloaded the ImageNet training data and validation data, and they are stored on your disk like: /path/to/imagenet/train/n01440764/n01440764_10026.JPEG /path/to/imagenet/val/ILSVRC2012_val_00000001.JPEG Where do I find this data? It's a bit of a process. 1. Got to imagenet's download page and select "Download Image URLs". 2. Download the image URL list from the links at the bottom of the page, e.g., fall 2011's list . 3. Download

ImageNet 是一个计算机视觉系统识别项目， 是目前世界上图像识别最大的数据库。是美国斯坦福的计算机科学家，模拟人类的识别系统建立的。能够从图片识别物体。ImageNet是一个非常有前景的研究项目，未来用在机器人身上，就可以直接辨认物品和人了。超过1400万的图像URL被ImageNet手动注释，以指示图片中的对象;在至少一百万个图像中，还提供了边界框。ImageNet包含2万多个类别; 一个典型的类别，如“气球”或“草莓”，包含数百个图像。 一、下载 直接去数据集挂窝囊，选择下载即可www.image-net.org 注:可以单独下载某类 二、数据集说明 ISLVRC使用的公开数据集是Imagenet的子集，就以2012年ILSVRC分类数据集为例，其中训练集为128167张图片+标签，验证机为50000张图片+标签，用于最终淡粉的测试集为100000张图片（无标签），数据1000个不同的类别。 比赛项目：图像分类（CLS），目标定位（LOC），目标检测（DET），视频目标检测（VID），场景分类 数据类别 {0: 'tench, Tinca tinca', 1: 'goldfish, Carassius auratus', 2: 'great white shark, white shark, man-eater, man-eating shark, Carcharodon

AlexNet是较早期的一个卷积神经网络，由于其在ImageNet比赛中的出色表现（top1与top5的error rate分别为37.5%与17%），也掀起了学术界对深度学习的研究热潮，下面结合AlexNet的论文，对AlexNet进行简单的总结，有不足的地方，欢迎指正。 AlexNet为8层结构，其中前5层为卷积层，后面3层为全连接层，学习参数6千万个，神经元约有650，000个。 AlexNet在两个GPU同时训练完成。 如图所示，AlexNet第2、4、5层均是与前一层自己GPU内连接，第3层是与前面两层全连接，全连接层是2个GPU全连接。 RPN层在第1、2个卷积层后。 Max pooling层在RPN层以及第5个卷积层后。 ReLU在每个卷积层以及全连接层后。 卷积核大小数量：（由此也可以看出，第二层连接2个GPU其他没有） conv1: 96 11*11*3 conv2: 256 5*5*48 conv3: 384 3*3*256 conv4: 384 3*3*192 conv5: 256 3*3*192 AlexNet的训练数据主要采用ILSVRC2010数据集，其为ImageNet的子集，包含1000类，共1.2million训练图像，50,000验证集，150,000的测试集。 alexNet对于数据的处理方法如下： 初步处理 首先将不同分辨率图像变换到256

Alexnet（2012） Abstract Alexnet是一个大规模的深度卷积神经网络，用于对ImageNet中的LSVRC-2010 contest（120万256*256的高分辨率图片）进行1000分类。其中用到的技术包括非饱和神经元，用于卷积运算的高效GPU，dropout正则化技术。同时，本文也给出了这一模型的一个变体。 Introduction 在此之前，提高性能的方法一般是扩大数据集，同时使用一些技巧防止过拟合。而直到近期（指2012），一些复杂的数据集如ImageNet， LabelMe（fully-segmented images)。 为处理上百万的复杂图像，我们需要一个具有更大学习容量的网络，同时，也需要大量的 先验知识 以弥补数据的不足。因此，CNN被提出，相比于普通神经网络，CNN具有连接层少（参数少），易训练，符合对图片数据的一些基本假设，尽管它的理论最佳性能比普通神经网络要次一些。 GPU和诸如ImageNet的数据集的提出，也促进了CNN的发展。 本文提出了一个超大规模的CNN，一个高度优化的用于执行2D卷积的GPU和一些防过拟合的手段。 本文提出的神经网络主要受到内存空间和训练时间的限制，它花费约5-6天时间跑在2个GTX 580 3GB GPU上。更快的GPU和更大的数据集可以使得训练结果得到进一步提升。 DataSet 1.ImageNet :

图像分类 本教程源代码目录在 book/image_classification ,初次使用请您参考 Book文档使用说明 。 # 说明: 1.硬件环境要求： 本文可支持在CPU、GPU下运行 2.Docker镜像支持的CUDA/cuDNN版本： 如果使用了Docker运行Book，请注意：这里所提供的默认镜像的GPU环境为 CUDA 8/cuDNN 5，对于NVIDIA Tesla V100等要求CUDA 9的 GPU，使用该镜像可能会运行失败。 3.文档和脚本中代码的一致性问题： 请注意：为使本文更加易读易用，我们拆分、调整了train.py的代码并放入本文。本文中代码与train.py的运行结果一致，可直接运行 train.py 进行验证。 # 背景介绍 图像相比文字能够提供更加生动、容易理解及更具艺术感的信息，是人们转递与交换信息的重要来源。在本教程中，我们专注于图像识别领域的一个重要问题，即图像分类。 图像分类是根据图像的语义信息将不同类别图像区分开来，是计算机视觉中重要的基本问题，也是图像检测、图像分割、物体跟踪、行为分析等其他高层视觉任务的基础。图像分类在很多领域有广泛应用，包括安防领域的人脸识别和智能视频分析等，交通领域的交通场景识别，互联网领域基于内容的图像检索和相册自动归类，医学领域的图像识别等。 一般来说

Background I've been playing around with Deep Dream and Inceptionism , using the Caffe framework to visualize layers of GoogLeNet , an architecture built for the Imagenet project, a large visual database designed for use in visual object recognition. Imagenet can be found here: Imagenet 1000 Classes. In order to probe into the architecture and generate 'dreams', I am using three notebooks: https://github.com/google/deepdream/blob/master/dream.ipynb https://github.com/kylemcdonald/deepdream/blob/master/dream.ipynb https://github.com/auduno/deepdraw/blob/master/deepdraw.ipynb The basic idea here

论文链接： https://arxiv.org/pdf/1807.11626v1.pdf 代码链接： https://github.com/tensorflow/tpu/tree/master/models/official/mnasnet 摘要 由于移动和嵌入式平台需要模型小、快且精度高，所以设计针对移动平台的模型是一件很有挑战的事情。尽管在设计移动端CNNs上已经做了很大努力，但是当有很多结构可能性需要考虑时还是很难在这些因素之间做平衡的。在本篇论文中，我们提出了一个自动移动神经网络架构搜索方法（MNAS），它明确地将模型延迟考虑进主要目标中以致于可以得到一个在精度和延迟之间达到平衡的模型。不像之前的网络，我们没有选择延迟的一个不精确的度量——比如FLOPS，而是直接通过在移动手机上推理模型来衡量真实的延迟。为了进一步在灵活性和搜索空间尺寸上取得平衡，我们提出了一个新颖的分解式层次搜索空间，它鼓励整个网络层的多样性，实验结果表明展示了我们的网络在多个视觉任务上都达到了先进的性能，在ImageNet 分类任务上，我们的MnasNet实现了75.2%的top-1精度，延迟为78ms，这笔MobileNetV2快了1.8倍，精度提升了0.5%；比NASNet快了2.3倍，精度提升了1.2%。我们的MnasNet同样在COCO目标检测上也取得了比MobileNets更好的MAP。 1.

Alexnet（2012） Abstract Alexnet是一个大规模的深度卷积神经网络，用于对ImageNet中的LSVRC-2010 contest（120万256*256的高分辨率图片）进行1000分类。其中用到的技术包括非饱和神经元，用于卷积运算的高效GPU，dropout正则化技术。同时，本文也给出了这一模型的一个变体。 Introduction 在此之前，提高性能的方法一般是扩大数据集，同时使用一些技巧防止过拟合。而直到近期（指2012），一些复杂的数据集如ImageNet， LabelMe（fully-segmented images)。 为处理上百万的复杂图像，我们需要一个具有更大学习容量的网络，同时，也需要大量的 先验知识 以弥补数据的不足。因此，CNN被提出，相比于普通神经网络，CNN具有连接层少（参数少），易训练，符合对图片数据的一些基本假设，尽管它的理论最佳性能比普通神经网络要次一些。 GPU和诸如ImageNet的数据集的提出，也促进了CNN的发展。 本文提出了一个超大规模的CNN，一个高度优化的用于执行2D卷积的GPU和一些防过拟合的手段。 本文提出的神经网络主要受到内存空间和训练时间的限制，它花费约5-6天时间跑在2个GTX 580 3GB GPU上。更快的GPU和更大的数据集可以使得训练结果得到进一步提升。 DataSet 1.ImageNet :