[置顶] caffe+CPU︱虚拟机+Ubuntu16.04+CPU+caffe安装笔记

由于虚拟机下的Ubuntu系统一般不包含GPU，故这次安装时为了在无GUP环境下运行caffe。所以只需安装CPU版本的caffe

 由于本机是window10系统，所以想尝试caffe就在自己电脑上整了一个虚拟机（详情可见：win10系统搭建虚拟机：VMware Workstation Player 12环境+Ubuntu Kylin 16.04 LTS系统），然后昨天在自己虚拟机上配置了一个caffe环境。

      其中，只是尝试着搭建了一个CPU版本的caffe，Ubuntu16.04中自带了python 2.7。

      在安装的过程中，真的会出现各种各样的报错，但是...

      感慨天朝的实力... 每一个bug都能搜索到如何解，所以...  不要担心，百度、谷歌一起教你装caffe。

——————————————————————————————————————————————

本篇内容为两个：caffe安装流程+报错举例

      一、caffe安装流程：安装依赖、配置python、配置caffe、配置caffe的makefile文件、配置python caffe

      二、报错举例：linux系统的报错问题、caffe报错问题、python报错问题、虚拟机问题

—————————————————————————————————

一、caffe安装流程

      caffe安装流程：安装依赖、配置python、配置caffe、配置caffe的makefile文件、配置python caffe

      1、安装依赖

安装依赖项，这个是根据caffe官网的要求配的，打开caffe官网，在说明里有installing ···for···ubuntu，里面有装caffe的步骤

[python] view plain copy

1. sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler  
2. sudo apt-get install --no-install-recommends libboost-all-dev  
3. sudo apt-get install libatlas-base-dev  
4. sudo apt-get install libhdf5-serial-dev  
5.    

      2、配置python

      一般linux都自带python，看看python版本：python2.7 --version

      之后还要执行：

[python] view plain copy

1. sudo apt-get install python-dev  

      加载之后：

[python] view plain copy

1. sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev  

      以上所有sudo apt-get在什么文件夹下输入都无所谓

      3、配置caffe

      把CAFFE的源代码下载下来: 

[html] view plain copy

1. git clone https://github.com/BVLC/caffe.git  

如果没有git,还需要安装git：

[html] view plain copy

1. apt-get install git  

      下载完成之后,进入caffe文件夹, 进入里面的python文件夹,然后输入

[html] view plain copy

1. for req in $(cat requirements.txt); do pip install $req; done  

      如何寻找到linux的caffe的路径呢？

      貌似直接cd caffe/python一般就能够直接转给去

      pip没有安装，还需要安装pip或者easy_install（先修改环境，再sudo）：

      修改python的环境变量：export PATH="$PATH:/usr/local/bin/ python

[html] view plain copy

1. sudo apt install python-pip  

      更新pip:pip install -U pip 

4、配置caffe的makefile文件

      到CAFFE文件夹, 使用模板写个Makefile.config

[html] view plain copy

1. cp Makefile.config.example Makefile.config  

      -因为CPU MODE, 所以在CPU_ONLY := 1前面的#要去掉.

      -两个路径要改成这样:(添加后面的两个hdf5的路径, 否则编译时报hdf5错误)

[html] view plain copy

1. # Whatever else you find you need goes here.  
2. INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial  
3. LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial  

      （注意：/usr之前有一个“空格”,而且这个是在makefile中进行修改）

{

打开并修改配置文件：

sudo gedit Makefile.config #打开Makefile.config文件

根据个人情况修改文件：

a.若使用cudnn，则

将

#USE_CUDNN := 1

修改成： 

USE_CUDNN := 1

b.若使用的opencv版本是3的，则

将

#OPENCV_VERSION := 3 

修改为： 

OPENCV_VERSION := 3

c.若要使用python来编写layer，则

将

#WITH_PYTHON_LAYER := 1 

修改为 

WITH_PYTHON_LAYER := 1

d.重要的一项 :

将# Whatever else you find you need goes here.下面的

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include

LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib 

修改为： 

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial

LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial       

这是因为ubuntu16.04的文件包含位置发生了变化，尤其是需要用到的hdf5的位置，所以需要更改这一路径.

此处转自：  https://www.cnblogs.com/longmao-yiran/p/6832374.html

}

     

 设置好文档名称之后，就要设置make：

[html] view plain copy

1. make pycaffe  
2. make all  
3. make test  
4. make runtest  

      这个make默认是用CPU单核运算,如果想要快一点, 比如我想使用四核, 在make后面加上-j4标签.

      如果上面4行某一行报错之后想要重试,建议先make clean再重新开始.

      出现的问题：不能修改文件内容，那么可以用：

[html] view plain copy

1. sudo gedit Makefile.config   

报错：

[html] view plain copy

1. make: *** No rule to make target 'pycaffe'.  Stop.  

需要make clean一下，才能再次make all ，同时cd随便哪个目录都行

5、配置python caffe

      make之后，需要设置一下环境变量：

[html] view plain copy

1. export PYTHONPATH=/caffe/python:$PYTHONPATH  

      去到CAFFE文件夹里面的python文件夹, 把当前路径记录下来(pwd).注意是cd caffe里面python文件夹下，才行，不然直接调用会报错

      接下来就可以打开python,然后：

[html] view plain copy

1. import caffe  

      import之后如果没报错，就是完全安装好了。

MNIST数据集测试

配置caffe完成后，我们可以利用MNIST数据集对caffe进行测试，过程如下：

 

1.将终端定位到Caffe根目录

cd ~/caffe

 

2.下载MNIST数据库并解压缩

./data/mnist/get_mnist.sh

 

3.将其转换成Lmdb数据库格式

./examples/mnist/create_mnist.sh

 

4.训练网络

./examples/mnist/train_lenet.sh

训练的时候可以看到损失与精度数值，如下图：

图7.MNIST数据集训练

可以看到最终训练精度是0.9914。

      当然，报错无数...本节主要内容可参考博客：Ubuntu 16.04上安装Caffe(CPU only)

—————————————————————————————————

二、报错举例

      报错举例：linux系统的报错问题、caffe报错问题、python报错问题、虚拟机问题

      1、linux系统的报错问题

      （1）报错：E: Unable to locate package lib

      解决：apt-get update

      （2）报错： 无法获得锁 /var/lib/apt/lists/lock - open (11 资源临时不可用)

      一般都是有其他apt在使用，需要吊销：

[html] view plain copy

1. 1、找出apt-get进程（下载进程）  
2. 一般ubu里面都会出现的吧，因为刚刚开始系统，系统后台都会默认帮你预装什么东西  
3. 查找进程代码：  
4. ps -df | grep apt  
5. 然后kill：  
6. kill -9 2542 2543（  
7. 报错：bash: kill: (2542) - Operation not permitted  
8. bash: kill: (2543) - Operation not permitted  
9. ）  
10. sudo kill -9 2542 2543  

      参考链接：http://www.linuxidc.com/Linux/2014-06/103437.htm

(3)不知道apt-get之后的安装包位置？

      apt-get安装之后，一般会在     /var/cache/apt/archives文件夹之内

      当然，如果sudo apt install之后，以及安装过的，就不会再次安装的。

      参考：http://blog.csdn.net/u013797029/article/details/44492677

2、caffe报错问题

（1）报错：error:"make all" "make test"

[html] view plain copy

1. Error: 'make all' 'make test'  
2. .build_release/lib/libcaffe.so: undefined reference to cv::imread(cv::String const&, int)'   
3. .build_release/lib/libcaffe.so: undefined reference tocv::imencode(cv::String const&, cv::_InputArray const&, std::vector >&, std::vector > const&)'  

      原因：caffe代码中并没有build文件夹，需要新建build文件夹之后再进行编译：

[html] view plain copy

1. cd caffe-master　　#打开caffe所在文件夹  
2. cp Makefile.config.example Makefile.config  #change setting in Makefile.config  
3. make all -j8　　#在build文件夹下进行编译  
4. make test -j8   
5. make runtest -j8　　#使用CPU多核同时进行编译  

3、python报错问题

      （1）pycaffe时报错：fatal error: numpy/arrayobject.h: No such file or directory

其实numpy已经是安装的，anaconda2里面有，Python中import numpy也没有问题，但就是在此处报错，解决方法： 

[html] view plain copy

1. sudo apt-get install python-numpy  

      参考：http://blog.csdn.net/wuzuyu365/article/details/52430657

      （2）ImportError: No module named google.protobuf.internal

      再加载一次。

[html] view plain copy

1. sudo pip install protobuf  

（3）Matplotlib is building the font cache using fc-list. This may take a moment

      再次调用import caffe时候，出现的问题

      需要设置一下路径export PYTHONPATH=/caffe/python:$PYTHONPATH  ,在这之前，很重要的是要去到caffe下的python文件夹下。

      4、虚拟机问题

      （1）虚拟机的显卡是跟着本机的吗？

[html] view plain copy

1. lspci |grep VGA  
2. 00:0f.0 VGA compatible controller: VMware SVGA II Adapter  

      因为我是在VMware中运行的，所以显卡貌似是VMware SVGA II，好像跑不了GPU...

      （2）一些文件夹无法获得root权限

      笔者在使用的时候会出现只有通过命令先root，才能修改一些文件夹，进行复制和粘贴。

      但是不能在界面中直接操作的问题？

      这一问题的答案见博客：ubuntu 16.04 启用root用户方法

      可以很好地解决root问题，就是重新再成立一个root账号，这样你就可以直接拥有root界面啦。

    （3）VMware Player cannot connect to the virtual machine

用管理员身份运行即可.

针对这一问题，官网给出的解答是两个原因：

1、VMware授权服务没有运行，解决办法参考见blog：http://www.2cto.com/os/201111/112418.html

2、服务不具有管理员权限，用管理员身份运行

——————————————————————————————

延伸一：使用安装VMware Tools工具进行文件共享

跟虚拟机进行文件共享需要下载一下VMware Tools,那么步骤为：

1、点击安装vmware tools

我的机器是“重新安装”

2、光驱vmware tools

点开之后，由于是不能在这个里面进行操作的，所以需要复制到机器

[html] view plain copy

1. cp /media/user/VMware\ Tools/VMwareTools-10.0.10-4301679.tar.gz /  

然后进行解压：

[html] view plain copy

1. tar -zxvf VMwareTools-10.0.10-4301679.tar.gz  

解压完成后进入解压文件夹vmware-tools-distrib

[html] view plain copy

1. cd vmware-tools-distrib  

运行安装程序：

[html] view plain copy

1. ./vmware-install.pl  

一路y加回车

3、设置共享文件夹

在虚拟机->设置，添加自己的共享文件夹 

然后就完成了，你就可以在路径：

[html] view plain copy

1. cd /mnt/hgfs  

看到自己的共享文件夹了。

转自：

http://blog.csdn.net/sinat_26917383/article/details/53502719

https://www.cnblogs.com/longmao-yiran/p/6832374.html

来源：https://www.cnblogs.com/alan666/p/8311776.html