notebook

Kubernetes pod资源调整

感情迁移 提交于 2019-12-26 14:16:37
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 需求 :调整每个pod启动时的资源值。 原因 :那个限制是每个pod的限制,对于notebook来说 每个用户只能建立一个pod,所以新增了用户登录后这里会增加这里(内存、CPU)限制值。 调整 :JHUB为例,调整“配置字典 ”中hub-config的yaml文件singleuser.memory.limit(内存限制),singleuser.memory.guarantee(内存请求),singleuser.cpu.guarantee(CPU请求),singleuser.cpu.limit(CPU限制)。 备注: 请求值:单个pod最开始获得的资源,并按照此资源以最低资源进行运行。 限制值:单个pod最多能够使用的资源,保证单个pod最优处理情况。 注意:此处的值需要确认用户的使用数,便于最优的资源分配。如果分配过大会导致后期用户使用异常。 CPU 、内存超分产生故障:用户无法启动notebook。 调整后重启服务(如果多节点,仅需调整master节点) 重启docker服务 # systemctl restart docker.service 重启kubelet服务 # systemctl restart kubelet.service 备注:调整后不影响调整前打开的notebook的资源情况。 生效操作

如何使用mobaXterm远程连接jupyter notebook

隐身守侯 提交于 2019-12-26 02:32:30
问题 :PC端是windows系统,服务器端是Ubuntu16.04。在PC端使用jupyter notebook调试代码,在服务器上运行。 解决办法 :具体如下: 服务器端: 1、安装好ipython和jupyter pip install ipython pip install Jupyter 2、生成配置文件 jupyter notebook -- generate - config 3、生成密码 ipython In [ 1 ] : from notebook . auth import passwdIn [ 2 ] : passwd ( ) Enter password : Verify password : Out [ 2 ] : 'sha1:ce23d945972f:34769d3d08c84a18c63968a41f1140274685a7cc' 把生成的密文’sha1:ce23d945972f:34769d3d08c84a18c63968a41f1140274685a7cc’复制出来。 4、修改jupyter notebook配置 vim ~ / . jupyter / jupyter_notebook_config . py c . NotebookApp . ip = '*' # 设置所有ip皆可访问 c . NotebookApp . password =

jupyter notebook使用技巧

人走茶凉 提交于 2019-12-25 07:27:14
https://www.zhihu.com/tardis/sogou/art/42468945 1. 快捷键 在jupyter notebook菜单栏有Help按钮,可以查看jupyter的快捷键 2. 将多个变量输出 一般jupyter notebook默认只打印最后一个变量的结果。比如 from pydataset import data quakes = data('quakes') quakes.head(10) #前10行数据 quakes.tail(3) #后3行数据 通过设置InteractiveShell.ast node interactivity参数为all,就可以让所有的变量或者声明都能显示出来 from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = 'all' from pydataset import data quakes = data('quakes') quakes.head(10) #前10行数据 quakes.tail(3) #后3行数据 3. 问号? 除了Help菜单能让我们快读查看numpy、pandas、scipy和matplotlib库,其实在cell中使用 ? 可以查看库、函数

jupyter notebook中No module named 'tensorflow'

旧时模样 提交于 2019-12-23 01:02:57
当我们在jupyter notebook中运行时可能会遇见没有某个包的情况,如下: --------------------------------------------------------------------------- ModuleNotFoundError Traceback (most recent call last) <ipython-input-1-24005895b065> in <module> 2 import h5py 3 import matplotlib.pyplot as plt ----> 4 import tensorflow as tf 5 from tensorflow.python.framework import ops 6 import tf_utils ModuleNotFoundError: No module named 'tensorflow' 首先我的jupyter notebook是在本地设置的python3的环境deeplearning下运行的: userdeMacBook-Pro:~ user$ conda activate deeplearning (deeplearning) userdeMacBook-Pro:~ user$ jupyter notebook

win10下python3.8运行jupyter notebook时报NotImplementedError错误解决办法

我是研究僧i 提交于 2019-12-20 19:44:00
win10下python3.8运行jupyter notebook时报NotImplementedError错误解决办法 win10安装jupyter后,启动jupyter notebook报错:NotImplementedError. 解决办法: 在c:\users\user\appdata\local\programs\python\python38\lib\site-packages\tornado\platform\asyncio.py 下添加如下内容: import sys if sys . platform == 'win32' : asyncio . set_event_loop_policy ( asyncio . WindowsSelectorEventLoopPolicy ( ) ) 随后终端启动jupyter notebook 成功,完美解决。 来源: CSDN 作者: liujia_mx 链接: https://blog.csdn.net/liujia_mx/article/details/103630895

ipython notebook的安装和使用;pip和easy_install.exe的区别;几个库Scikit-Learn、NumPy、SciPy、Matplotlib的用途

心已入冬 提交于 2019-12-19 00:20:46
1、ipython notebook是什么? 已经成为用Python做教学、计算、科研的一个重要工具,很多示例都是用.ipynb文件。利用浏览器做IDE,做结果的展示台等。   第一步,安装python   第二步,pip install --timeout=100 --proxy=10.30.21.6:808 -i https://pypi.tuna.tsinghua.edu.cn/simple -U spyder PyQt5 tensorflow opencv-python opencv-contrib-python   这两步完成基本应用   第三步,是针对ipython notebook的     在命令行里,easy_install.exe pyzmq     在命令行里,easy_install.exe jinja2     在命令行里,easy_install.exe tornado     运行jupyter notebook报错,No module named: notebook。在命令行里,pip install notebook     OK! 2、 pip和easy_install.exe的区别 : easy_install和pip都是用来下载安装Python一个公共资源库PyPI 的相关资源包的,提供了在线一键安装模块的傻瓜方便方式,pip是easy

机器学习:Jupyter Notebook入门

二次信任 提交于 2019-12-18 18:03:11
▌什么是 Jupyter Notebook? Jupyter Notebook 是一款开放源代码的 Web 应用程序,可让我们创建并共享代码和文档。 它提供了一个环境,你可以在其中记录代码,运行代码,查看结果,可视化数据并在查看输出结果。这些特性使其成为一款执行端到端数据科学工作流程的便捷工具 ,可以用于数据清理,统计建模,构建和训练机器学习模型,可视化数据以及许多其他用途。 当你还在构建项目原型时,Jupyter Notebooks 真的特别好用,因为你的代码是被写入独立的单元中并被单独执行的。这允许用户测试项目中的特定代码块,而无需从脚本的开始执行代码。许多其他的 IDE 环境(Integrated Development Environment, 集成开发环境)(如 RStudio )也以其他几种方式做到这一点,但我发现 Jupyter 的单个单元结构是最好的。 正如你在本文中将会看到的,这些 Notebooks 是数据科学家手中非常灵活、可交互和强大的工具。他们甚至允许你运行除 Python 以外的其他语言,比如 R 、SQL 等。由于它们比 IDE 平台更具交互性,因此它们被广泛地应用于教学场景。 ▌如何安装 Jupyter Notebook? 首先你需要在机器上安装 Python,Python 2.7或Python 3.3(或更高版本)都可以。 Anaconda

GIScript2016-Docker 数据导入源码

喜欢而已 提交于 2019-12-17 19:43:45
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> GIScript2016-数据导入教程 ** GIScript2016是支持Python3的地理空间数据处理和分析工具包,支持Jupyter和Spark。** GIScript2016支持Spark,可以运行在单机以及大规模集群之上。这里基于Docker的Jupyter Notebook进行空间数据导入,稍加修改后即可直接用于大量空间数据的批量处理。内容包括: 创建UDB数据源。 导入Shape矢量格式。 导入Tif影像格式。 导入CSV和JSON格式。 引用GIScript的支持库 # coding: utf-8 import sys from GIScript import GISCore, Data, Conversion # help(GISCore) ''' ! \brief 文件路径定义 ''' strTiffPath = "Raster/astronaut(CMYK)_32.tif" strShapePath = "Vector/countries.shp" strCSVPath = "Vector/Hospital.csv" strGJBPath = "Vector/KN0839" strJsonPath = "Vector/Polygon.json" strUDB = "DB

GIScript2016-Docker 数据导入教程

*爱你&永不变心* 提交于 2019-12-17 19:42:43
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> GIScript2016是支持Python3的地理空间数据处理和分析工具包,支持Jupyter和Spark,可以运行在单机以及大规模集群之上。这里介绍基于Docker的GIScript+Jupyter这一技术栈,使用其进行空间数据导入的具体过程,稍加修改后即可直接用于大量空间数据的批量处理。点击查看【 完整数据导入源码 】。 1. 准备工作-创建容器实例 在博文【 GIScript2016-Docker上的Jupyter Notebook部署 】和【 GIScript2016-Docker 快速入门 】中,分别介绍了将GIScript部署到Docker中,以及将这个容器镜像推送到DockerHub上,然后在联网的其它计算机中使用的方法。 1.1 现在,我们拉取所创建的GIScript2016容器: docker pull openthings/gispark 1.2 创建GIScript的本地目录: mkdir GISpark cd GISpark 1.3 创建容器的运行实例: docker run -it --name GISpark \ -p 9000:8888 \ --user root -e GRANT_SUDO=yes \ -v /home/supermap/GISpark:/home/jovyan

attr(label endoer & jupyter notebook)

非 Y 不嫁゛ 提交于 2019-12-15 03:57:22
最早出现关于attr的问题是加载sklearn的LabelEncoder,提示attr.ib不认识convert参数。自己手动更改源码,将convert改为converter,然而并没有彻底解决问题。 又继续报attr没有’s,这时不会改源码了,后来搜索将attr卸载后重装attrs及先后执行pip uninstall attr pip install attrs 此时LabelEncoder可以用了。 但是第二天jupyter notebook出现闪退,搜索后找到解决办法,cmd后执行jupyter notebook --generate-config 发现报了我没装attr的错误,提示我重装,装了attr,再次jupyter notebook --generate-config又报attr没有’s的问题。 感觉attr的问题处于死循环中 后来发现其他人的attr版本是19.1.0,自己的只为0.3.1,好吧升级attr,pip install attr 19.1.0,结果如下 说明没有19的版本,啊啊啊,想了想,要不试试升级attrs吧,因此在命令行输入 pip install attrs 19.1.0。发现卸载了现有的17,成功升级到19。 然后发现jupyter notebook --generate-config 和LabelEncoder都运行成功了,jupyter