英伟达

docker镜像导出/载入

こ雲淡風輕ζ 提交于 2019-12-10 17:12:19
1. 依赖安装 在另外一台电脑需要安装nvidia驱动,docker19.03,nvidia-docker,然后能nvidia-smi测试通过 可参考: https://blog.csdn.net/u011622208/article/details/103458951 2. docker镜像导出/载入 2.1 导出 docker images 查看镜像,然后用 docker save -o test.tar <image ID> 导出镜像 2.2 在另外一台电脑上 nvidia-smi 测试通过 docker run --gpus all nvidia/cuda:9.0-base nvidia-smi 2.3 导入 docker load -i test.tar 然后用 docker images 进行查看 3. 其他 docker导出的镜像tar文件有点大, reference https://blog.csdn.net/ncdx111/article/details/79878098 来源: CSDN 作者: 陈军2号 链接: https://blog.csdn.net/u011622208/article/details/103477559

ubuntu18.04搭建k8s集群

江枫思渺然 提交于 2019-12-10 12:46:18
上个月为小组搭建一个k8s的nvidia gpu集群,在此记录一下,以免以后忘记。 本次搭建采用的ubuntu18.04 server ,docker版本采用的19.03.2,k8s版本是1.15.2。 name  version ubuntu server     18.04           docker 19.03.2 k8s       1.15.2 搭建集群之前需要安装nvidia显卡驱动,这里就不在赘述如何安装驱动。 集群需要设置固定ip,dns,否则容器可能不能访问外网。 通过shell脚本文件自动安装,install.sh文件如下: 1 #!/bin/bash 2 #安装ftp客户端 3 sudo apt-get install lftp 4 #修改时区 5 ln -snf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 6 bash -c "echo 'Asia/Shanghai' > /etc/timezone" 7 8 #替换apt源为阿里源,先备份 9 echo "替换apt源为阿里源" 10 sudo mv /etc/apt/sources.list /etc/apt/sources.list.bak 11 sudo rm -f /etc/apt/sources.list.save 12 sudo cp

Ubuntu 18.04 LTS安装配置驱动、CUDA9.1和Amber18 & AmberTools18

北慕城南 提交于 2019-12-10 12:27:59
目录 1. 环境 2. 驱动安装 2.1 驱动下载:https://www.nvidia.com/download/driverResults.aspx/132541/ 2.2.删除原有NVIDIA驱动 2.3禁用nouveau 2.4.查询自己的显卡型号 2.5.安装 2.6.检验是否安装成功,命令 3. CUDA9.1安装 3.1 CUDA9.1下载: 3.2 在cuda下载目录下运行终端输入命令安装 3.3 安装补丁: 3.4 设置cuda环境变量 3.5 验证cuda是否安装成功 4. Amber18 & AmberTools18安装 4.1 安装环境依赖 4.2 解压安装包 4.3 配置环境变量 4.4 编译Amber18 (Amber18 的GPU支持的CUDA版本最高为9.2) 1. 环境 硬件:GPU :Quadro P600 系统:Ubuntu 18.04 2. 驱动安装 2.1 驱动下载: https://www.nvidia.com/download/driverResults.aspx/132541/ 2.2.删除原有NVIDIA驱动 sudo apt-get remove --purge nvidia* 2.3禁用nouveau sudo vi /etc/modprobe.d/blacklist.conf 在最后一行添加 blacklist nouneau

ubuntu安装python3.5+pycharm+anaconda+opencv+docker+nvidia-docker+tensorflow+pytorch+Cmake3.8

风格不统一 提交于 2019-12-10 11:30:53
一,切换python版本为3.5 装好ubuntu,python版本是2.7的 我自己安装并更改打开为python3.5 sudo apt-get install python3.5 设置优先级和默认环境: sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100 sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150 切换版本: update-alternatives --config python 可看见python已经为3.5了。 二,安装pycharm: pycharm官网 https://www.jetbrains.com/pycharm/download/#section=linux 下载了这个,然后解压 启动pycharm, 下面激活: 添加下面一行到hosts文件,目的是屏蔽掉Pycharm对激活码的验证 0.0.0.0 account.jetbrains.com 打开PyCharm,选择Activate code(用激活码激活) 激活网址: http://idea.lanyus.com/ 复制下载激活码,填入激活码框。 K6IXATEF43

Job for docker.service failed because the control process exited with error code. See "systemctl sta

偶尔善良 提交于 2019-12-10 08:28:37
Job for docker.service failed because the control process exited with error code. See "systemctl status docker.service" and "journalctl -xe" for details. sudo vim /etc/docker/daemon.json { "registry-mirrors": ["https://registry.docker-cn.com"], "default-runtime": "nvidia", "runtimes": { "nvidia": { "path": "/usr/bin/nvidia-container-runtime", "runtimeArgs": [] } } } 来源: CSDN 作者: Longlongaaago 链接: https://blog.csdn.net/Willen_/article/details/103464531

【技术系列】浅谈GPU虚拟化技术(第一章)

爷,独闯天下 提交于 2019-12-10 00:36:31
摘要: GPU深度好文系列,阿里云技术专家分享 第一章 GPU虚拟化发展史 GPU的虚拟化发展历程事实上与公有云市场和云计算应用场景的普及息息相关。如果在10年前谈起云计算,大部分人的反应是“不知所云“。但是随着云计算场景的普及,概念的深入人心,慢慢地大家都对云计算有一个较清晰的概念和实例化的理解。自然,随着应用场景从单一依赖CPU的计算单元的应用扩展到多种体系架构,异构计算场景的应用上来后,对GPU,FPGA,TPU等专业计算芯片也提出了虚拟化和上云的强烈要求。尤其是最近几年机器学习、深度学习等领域的快速发展,催生了异构计算场景搬迁上云的高潮。 那么这个异构计算应用场景的市场规模有多大呢?异构计算作为机器学习人工智能的计算载体,先来看看人工智能前景如何?(引用出处: https://bg.qianzhan.com/report/detail/459/180116-3c060b52.html ) 图一:2015-2018年全球人工智能市场规模及预测(单位:亿元,%) 图二: 2014-2018年中国人工智能产业市场规模及增速(单位:亿元,%) 所以我们不难理解,为什么各大云计算厂商无论大小,都会极力研发异构计算产品,争抢市场的主导地位。 由于GPU是异构计算的主力军,让我们来回顾一下GPU虚拟化的发展历史,并对各个GPU厂商做一个横向比较,大家就不难看出来,哪些厂商处于领导地位

双显卡安装Ubuntu 18.04和NVIDIA驱动

ぃ、小莉子 提交于 2019-12-09 22:33:47
踩坑笔记: 用软碟通制作UBUNTU18.04 LTS启动盘 长按DEL键进入BIOS,关闭Security Boot,设置USB优先启动 在黑白的grub引导界面(第一行是Try Ubuntu… 第二行是Install Ubuntu的那个界面),先用方向键选到第二行Install,但不要立即按回车,而是按E,就进入参数配置编辑界面;找到开头是linux的那行,一般来说是倒数第二行,在末尾quiet splash的后面先空一格再加上acpi_osi=linux nomodeset,如果quiet splash后面发现有- - -这串符号,直接删了就是,只要保证上述添加的参数在splash后面即可;然后按F10即可进入正常的安装流程。 不联网。normal install , 不装third。安装。 拔u盘 sudo gedit /etc/modprobe.d/blacklist.conf 在文件末尾加上 blacklist nouveau 然后刷新配置: sudo update-initramfs -u 到这一步时最好重启一下系统,然后正式进入官方驱动的安装流程。按下Ctrl+Alt+F2进入非图形终端; sudo apt-get update sudo apt-get install gcc make libc6-dev ubuntu-drivers devices sudo

[Kubernetes] Device Plugin

£可爱£侵袭症+ 提交于 2019-12-09 15:55:45
目录 Device Plugin Device Plugin 原理 Nvidia Docker Device Plugin Device Plugin 原理 容器要中使用GPU或者FPGA设备,需要在容器内看到如下两部分设备和目录: gpu 设备: /dev/nvidia0 gpu 驱动目录: /usr/local/nvidia/ GPu 设备可以在容器启动时通过 Device 参数指定,GPU 驱动可以通过 Volume 参数指定。 Kubernetes 对 GPU 等额外设备支持的实现中,实际上就是通过 kubelet 将上述两个参数写进了创建该容器时使用的 CRI(Container Runtime Interface) 参数里。 Kubernetes 中 Node 对象的 Status 字段记录了该节点上自定义资源的信息,比如执行 kubectl describe nodes amax-80 : Name: amax-80 Roles: GPU-node Labels: beta.kubernetes.io/arch=amd64 beta.kubernetes.io/os=linux kubernetes.io/arch=amd64 kubernetes.io/hostname=amax-80 kubernetes.io/os=linux node-role

Docker - 基于NVIDIA-Docker的Caffe-GPU环境搭建

自闭症网瘾萝莉.ら 提交于 2019-12-07 23:25:24
保持更新版本迁移至 - Docker - 基于NVIDIA-Docker的Caffe-GPU环境搭建 主要包括两部分: 1. Docker与NVIDIA-Docker的安装与配置 2. Caffe镜像使用 1 Docker与NVIDIA-Docker的安装与配置 1.1 Docker安装 Docker安装过程需要使用root权限, 主要有两种安装方式: 1.1.1 Ubuntu14.04 软件源安装 使用Ubuntu14.04系统默认自带的docker.io安装包安装Docker,版本相对较旧. 命令行操作过程如下: sudo apt-get update sudo apt-get -y install docker.io sudo service docker.io status (检查Docker服务的状态) sudo docker run hello-world (测试Docker安装是否成功) 1.1.2 Docker官网 安装 采用官网安装方式可以获取最新版本Docker. 在安装Docker之前需要配置Docker官方仓库,然后从该仓库进行获取与安装. 首先,进行Docker仓库设置: sudo apt-get install apt-transport-https ca-certificates curl software-properties-common curl

NMath与NVIDIA合作提升运算速度

一个人想着一个人 提交于 2019-12-07 20:15:59
概述: 日前,数学和统计学计算库厂商NMath透露,将与硬件提供商NVIDIA(英伟达)合作,于6月份推出基于其GPU处理器加速版本的数学库。   日前,数学和统计学计算库 NMath 的厂商透露,将与硬件提供商 NVIDIA (英伟达)合作,于6月份推出基于其 GPU处理器 加速版本的数学库。   这个称为NMath Premium的数学库的许多线性代数和信号处理算法,运行在本地的NVIDIA GPU处理器上,将实现性能数倍的增益,许多依赖NMath统计库的进程也将大幅度的性能提升。而且使用Nmath和NMath Premium的方法几乎不会有任何改变,两个控件的编码使用方法几乎完全一致。   接下来我们来看看NMath公司公布的NMath Premium内部测试结果。 测试依据   采用一个相同的4个线性代数算法,分别运行于GPU K20, GPU K10, GPU Tesla 2090和Intel i7的CPU中。这四个算法分别是SVD,QR和特征值分解,求解。同时测试FFT(离散傅氏变换的快速算法)运行的性能。 测试结果   单精线性代数,GPU的运算速度远超CPU,而且当矩阵数量越大时,优势越明显。   双精度线性代数,结果更加显而易见,I7 CPU无法计算矩阵数量超大的双精度线性代数。   FFT运行上,在长度较短的FFT运算时,i7有部分优势,但稳定性叫差