英伟达

实验室GPU服务器共享方案 LXD

南楼画角 提交于 2019-12-07 16:45:36
LXD安装 需求 实验室有两台配置不高,显卡还算可以的服务器,用来作为深度学习的实践和学习。但是实验室人多,隔离环境必不可少,但是服务器cpu和内存并不高,跑虚拟机太重太浪费,跑docker又不合适。于是有了LXD的方案。 需求列表 : 不同用户之间不能相互影响 用户要能方便地访问自己的“虚拟机” 用户要有足够大的权限,能自由地安装程序,能自由地访问网络 用户不被允许直接操作宿主机 用户要能够使用 GPU 为满足这些需求,额外的开销应该小得可以忽略 管理员应该能轻松地添加新的用户 方案发现 前面说了虚拟机太重,在机器本身配置不高的情况下负担太重,而且显卡是1080&1080ti(两台机器分别为1080*2, 1080ti*2),并不支持显卡虚拟化,也就是说一张卡只能在在同一时间供给一个虚拟机,这显然太浪费了。 考虑过docker,但是docker毕竟是应用级的容器,单进程,文件系统冗余太多,操作久了整个docker文件非常庞大,并不适合将它当虚拟机用。 我们需要的是开销小的虚拟机或者说环境隔离,安全性并不重要,在搜索中发现了docker的前身LXC(Linux Container),一个系统级的容器,非常适合我们的需求,可以当作一个低开销的虚拟机。 至于LXC和Docker的区别,这里就不进行细表了,毕竟我也了解的不多,只能说LXC更符合我的需求。 互联网是强大的

CTPN docker/nvidia-docker 安装

荒凉一梦 提交于 2019-12-07 13:06:26
本文主要是记录使用docker/nvidia-docker安装深度学习图片文字识别,开发运行环境. 在做图片文字识别的,需要用到CTPN以及crnn,服务器是ubuntu16的,但是上述两种框架(github现有的)只能运行在ubuntu14上面。考虑到,发布等问题,决定使用docker在ubuntu16搭建ubuntu14 cuda7.5 cudnn3开发运行环境。 服务器系统为ubuntu16.04,GPU卡为M40,安装了CUDA7.5. 主机,以及docker信息如下: 机器的CUDA信息: 接下来对照 nvidia-docker 安装方法,安装nvidia-docker. docker一般都是使用基于CPU的应用,而如果是GPU的话,就需要安装特有的硬件环境,比如需要安装nvidia driver。所以docker容器并不直接支持Nvidia GPU。为了解决这个问题,最早的处理办法是在容器内部,全部重新安装nvidia driver,然后通过设置相应的设备参数来启动container,然而这种办法是很脆弱的。因为宿主机的driver的版本必须完全匹配容器内的driver版本,这样导致docker image无法共享,很可能本地机器的不一致导致每台机器都需要去重复操作,这很大的违背了docker的设计之初。 nvidia-docker是一个可以使用GPU的docker

NMath与NVIDIA合作提升运算速度

≡放荡痞女 提交于 2019-12-07 10:28:30
概述: 日前,数学和统计学计算库厂商NMath透露,将与硬件提供商NVIDIA(英伟达)合作,于6月份推出基于其GPU处理器加速版本的数学库。   日前,数学和统计学计算库 NMath 的厂商透露,将与硬件提供商 NVIDIA (英伟达)合作,于6月份推出基于其 GPU处理器 加速版本的数学库。   这个称为NMath Premium的数学库的许多线性代数和信号处理算法,运行在本地的NVIDIA GPU处理器上,将实现性能数倍的增益,许多依赖NMath统计库的进程也将大幅度的性能提升。而且使用Nmath和NMath Premium的方法几乎不会有任何改变,两个控件的编码使用方法几乎完全一致。   接下来我们来看看NMath公司公布的NMath Premium内部测试结果。 测试依据   采用一个相同的4个线性代数算法,分别运行于GPU K20, GPU K10, GPU Tesla 2090和Intel i7的CPU中。这四个算法分别是SVD,QR和特征值分解,求解。同时测试FFT(离散傅氏变换的快速算法)运行的性能。 测试结果   单精线性代数,GPU的运算速度远超CPU,而且当矩阵数量越大时,优势越明显。   双精度线性代数,结果更加显而易见,I7 CPU无法计算矩阵数量超大的双精度线性代数。   FFT运行上,在长度较短的FFT运算时,i7有部分优势,但稳定性叫差

解决办法:nvidia-docker2 : 依赖: docker-ce (= 5:18.09.0~3-0~ubuntu-xenial)

一世执手 提交于 2019-12-07 01:40:40
  执行报错: sudo apt-get install -y nvidia-docker2 下列软件包有未满足的依赖关系: nvidia-docker2 : 依赖: docker-ce (= 5:18.09.0~3-0~ubuntu-xenial) 但是 5:18.09.1~3-0~ubuntu-xenial 正要被安装 或 docker-ee (= 5:18.09.0~3-0~ubuntu-xenial) 但无法安装它 E: 无法修正错误,因为您要求某些软件包保持现状,就是它们破坏了软件包间的依赖关系。   参考:《 解决办法:下列软件包有未满足的依赖关系,依赖。。。但是。。。正要被安装 》   也有介绍使用使用如下命令: apt-cache madison nvidia-docker2 nvidia-container-runtime   实际上还是安装不起来。 来源: CSDN 作者: 柳鲲鹏 链接: https://blog.csdn.net/quantum7/article/details/86415170

深度学习环境搭建

眉间皱痕 提交于 2019-12-06 13:41:23
深度学习环境搭建 目录 说明 硬软件环境 NVIDIA显卡驱动安装 cuda8.0安装 cuDNN6.0安装 说明 本文档讲述的是搭建深度学习环境的过程,旨在给各位入坑深度学习的小伙伴提供一个环境安装的说明。 截止到本文档写作时间,cuda已经更新到9.0。由于使用cuda9来编译Tensorflow会遇到各种问题,我在安装好cuda9.0后又卸载了cuda9.0,重新安装了cuda8.0,才顺利编译了Tensorflow。 本文档基于已有的硬件环境和软件环境安装了GTX 1080 Ti的驱动程序,以及cuda8.0和cuDNN6.0。 硬件环境 本次搭建深度学习环境的硬件配置如下: 硬件 配置 处理器 Intel Xeon(R)CPU E5-2640 v4@ 2.40GHz x 20 内存 64G 硬盘 1.3TB 图形卡 GeForce GTX 1080Ti/PCle/SSE2 本次搭建深度学习环境的软件如下: 软件 配置 操作系统 Ubuntu 16.04 64-bit NVIDIA显卡驱动安装 首先去 官网 查找适配自己GPU的驱动版本号。我在官网上查询出来的版本号是384.98。 $ sudo add -apt -repository ppa:graphics -drivers /ppa $ sudo apt -get update $ sudo apt -get

Tensorflow2.0学习(一)

僤鯓⒐⒋嵵緔 提交于 2019-12-06 01:08:19
站长资讯平台 :今天学习一下Tensorflow2.0 的基础 核心库,@tf.function ,可以方便的将动态图的语言,变成静态图,在某种程度上进行计算加速 TensorFlow Lite TensorFlow.JS TensorFlow Extended 构成了TensorFlow 的生态系统 优势: 1、GPU加速 体现在大数据量运算的时候,的运算时间。如果使用CPU进行运算,那么计算是通过串行模式完成 GPU则会加速运算,并行操作,快速运行。 2、自动求导 自带自动求导工具,方便快速求导。 3、神经网络 直接调用TensorFlow提供的接口, 不需要我们自己去实现。 tf.matmul layers.Demse tf.nn.conv2d layers.Conv2D tf.nn.relu layers.SimpleRNN tf.nn.max_pool2d layers.LSTM tf.nn.sigmoid layers.RelU tf.nn.softmax layers.MaxPool2D 一 、 环境安装 Win10 Anaconda 、Python3.7 CUDA 10.0 cuDNN TensorFlow 2.0 PyCharm 1、Anaconda安装,这里不在赘述,不会的朋友自行百度 测试有没有安装好Anaconda,直接打开命令行,输入:conda list

GPU驱动安装&cuda

烈酒焚心 提交于 2019-12-05 22:30:38
版权声明:本文为博主原创文章,支持原创,转载请附上原文出处链接和本声明。 本文链接地址: https://www.cnblogs.com/wannengachao/p/11947668.html 驱动安装&cuda 一、准备工作,查看是否默认安装了nouveau, nouveau 是 linux 第三方 nvidia 驱动,要先禁用才能安装 nvidia 驱动。 建议 iclone 将nouveau 配置为可选项 =。= 1..禁用 nouveau 驱动 lsmod | grep nouveau 查询是否预安装了 nouveaud 若无,跳过以下2-5步骤。 2.编辑 /etc/modprobe.d/blacklist.conf ,在文件后面加入blacklist nouveau 3.备份 the initramfs file mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r).img.bak 4.重新建立 the initramfs file dracut -v /boot/initramfs-$(uname -r).img $(uname -r) --force 5.重启机器 reboot 二、下载驱动执行安装 1.执行:init 3 2. 执行安装 ./NVIDIA-Linux-****

[Notes] Ubuntu安装nvidia-docker2

空扰寡人 提交于 2019-12-05 14:51:00
ubuntu版本为16.04.1 LTS (Xenial Xerus)。 本系统已安装nvidia驱动,但是未安装docker。 参考官方文档进行安装: https://docs.docker.com/install/linux/docker-ce/ubuntu/ 然后在参考nvidia-docker github页进行安装: https://github.com/NVIDIA/nvidia-docker 一体化安装脚本: sudo apt-get remove docker docker-engine docker.io containerd runc sudo apt-get update sudo apt-get install \ apt-transport-https \ ca-certificates \ curl \ gnupg-agent \ software-properties-common curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - echo "chekc the fingureprint!" sudo apt-key fingerprint 0EBFCD88 sudo add-apt-repository \ "deb [arch=amd64]

安装nvidia-docker

倾然丶 夕夏残阳落幕 提交于 2019-12-05 03:00:28
安装curl: sudo apt-get update sudo apt install curl 安装nvidia-docker: 可能要删除之前的 sudo yum remove docker docker-common container-selinux docker-selinux docker-engine nvidia-docker https://github.com/NVIDIA/nvidia-docker $ https://github.com/NVIDIA/nvidia-docker $ distribution=$(. /etc/os-release;echo $ID$VERSION_ID) $ curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - $ curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list $ sudo apt-get update && sudo apt-get install -y nvidia-container

Pycharm远程调试之Docker debug

被刻印的时光 ゝ 提交于 2019-12-04 21:38:15
关于连接Linux Docker 我们以前使用的是Docker Toolbox,在配置的时候pycharm也是自动填充的是关于Docker Toolbox的信息,看来是对 Docker Toolbox的支持是比较好的。 我们需要了解以下几件事: 1、Docker是无法远程挂载目录的,只能挂载宿主机的目录 2、Pycharm会在连接到"Docker宿主机"后会在宿主机中建立一个/c/User/...目录 3、我们需要用的Pycharm的Deployment功能把我们的工程同步到/c/User..目录中 4、我没有试验其它目录下的工程,不知道会不会创建一个/d/xxx的目录 好了,让我们开始 一、我们准备下 1、在我们宿主机上安装docker,现在docker 也学mysql分了ce和ee版本,安装ce版本就行,centos上需要注意firewall,ubuntu需要15.10版本及以上。 2、安装各种软件 3、设置加速器 4、pull一个基本镜像下来(docker pull ubuntu) 二、设置docker端口 Docker默认是不开启端口的,我们需要在service文件中设置 1、 修改 service文件 不同的Linux系统service的配置文件所在位置不同,我们可以通过systemctl status docker来查看 Ubuntu Centos 我们需要修改进入