Jupyter Notebook

题图摄于北京长安街 （本文作者系 VMware 中国研发云原生实验室架构师，联邦学习 KubeFATE / FATE-Operator 开源项目维护者。） 需要加入KubeFATE开源项目讨论群的同学，请关注本公众号后回复 “kubefate” 即可。 VMware招聘联邦学习、隐私计算开发工程师 目标 本文我们会介绍如何在一台 Linux 的机器上通过安装 MiniKube，然后使用 KubeFATE 部署一个两方的联邦学习集群，并在上面跑一个测试的联邦学习训练任务。 我们的总体架构如下: 本文共出现两台机器： 用来做 Demo 的机器，是一台 Linux 机器，参照前置条件第一点； 使用浏览器访问 Jupyter Notebook, FATE-Board 的机器，要求可以访问用来执行 Demo 的机器。可以是任何客户端。 前置条件 一台 Linux 的服务器，我们测试好的 OS 版本是 Ubuntu 18.04 LTS，由于需要跑多方计算，服务器的推荐配置为：8核，16GB内存以上； 三个域名分别给 KubeFATE 服务，Jupyter Notebook 和 FATE-board 使用。如果没有 DNS 解析条件，可以通过设置 hosts 方式，后面的介绍基于这种情况； Linux 服务器需要预先安装好 Docker 环境，具体参考 Install Docker in

文 | 刘志军 来源 | Python之禅 工欲善其事必先利其器，一个好的工具能让起到事半功倍的效果，Python 社区提供了足够多的优秀工具来帮助开发者更方便的实现某些想法，下面这几个工具给我的工作也带来了很多便利，推荐给追求美好事物的你。 Python Tutor Python Tutor 是由 Philip Guo 开发的一个免费教育工具，可帮助学生攻克编程学习中的基础障碍，理解每一行源代码在程序执行时在计算机中的过程。通过这个工具，教师或学生可以直接在 Web 浏览器中编写 Python 代码，并逐步可视化地运行程序。如果你不知道代码在内存中是如何运行的，不妨把它拷贝到Tutor里可视化执行一遍，加深理解。 地址：http://www.pythontutor.com/ IPython IPython 是一个 for Humans 的 Python 交互式 shell，用了它之后你就不想再用自带的 Python shell 了，IPython 支持变量自动补全，自动缩进，支持 bash shell 命令，内置了许多实用功能和函数，同时它也是科学计算和交互可视化的最佳平台。回复 “ipython” 获取《IPython交互式编程和数据可视化教程》。 地址：https://ipython.org/ Jupyter Notebook Jupyter Notebook 就像一个草稿本

大家好，在之前的 大众点评一线快餐品牌分析 文章中，很多读者私信对如何将商家地址标记到地图上感兴趣👇 本文就将讲解，给你一个地址，如何用Python进行可视化，只需要两步： 将地址转成经纬度 根据经纬度在地图上标记点 一、将地址转成经纬度 首先我们需要将 地理位置转成经纬度 这种统一格式，方便代码去识别。完成这一个需求可以使用 爬虫通过在线的经纬度转换网站 来实现，也可以使用一些专业的API比如 百度、高德 等，这里我们使用百度地图开放平台。 使用API并不是直接就能调用，首先需要去申请一个地图可视化的AK，打开百度地图开放平台 http://lbsyun.baidu.com/ 登陆之后依次 点击控制台 创建应用 选择浏览器端 ，按照指示创建一个地图可视化应用，以申请到AK结束 之后启动Jupyter Notebook，只要不到十行代码就能将地址转成经纬度，直接看代码，没有什么特别需要解释的，利用地址和AK构造查询URL，之后使用requests请求并取出经纬度，代码拿走就能用👇 import pandas as pd import requests AK = "替换为你申请的AK" def get_position (name,AK) : url = f'http://api.map.baidu.com/geocoding/v3/?address= {name} &output

来源：早起Python 作者：刘早起 大家好，在之前的大众点评一线快餐品牌分析文章中，很多读者私信对如何将商家地址标记到地图上感兴趣 本文就将讲解，给你一个地址，如何用Python进行可视化，只需要两步： 将地址转成经纬度根据经纬度在地图上标记点 一、将地址转成经纬度 首先我们需要将 地理位置转成经纬度 这种统一格式，方便代码去识别。完成这一个需求可以使用 爬虫通过在线的经纬度转换网站 来实现，也可以使用一些专业的API比如 百度、高德 等，这里我们使用百度地图开放平台。 使用API并不是直接就能调用，首先需要去申请一个地图可视化的AK，打开百度地图开放平台 http://lbsyun.baidu.com/ 登陆之后依次 点击控制台创建应用选择浏览器端 ，按照指示创建一个地图可视化应用，以申请到AK结束 之后启动Jupyter Notebook，只要不到十行代码就能将地址转成经纬度，直接看代码，没有什么特别需要解释的，利用地址和AK构造查询URL，之后使用requests请求并取出经纬度，代码拿走就能用 我们来测试一下 可以看到，现在给它一个地址，就能返回经纬度，再 返回地图验证一下经纬度，没有问题 当然如果需要一次性对多个地址处理，就可以使用pandas中的apply函数实现，此处不在赘述，另外需要注意的是，如果有大量地址需要处理就要再次去平台申请一个个人开发者，否则会有一定限制

JupyterLab安装： 　　推荐使用miniconda，相比于anaconda更加简洁，下载连接： https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/ 安装 pip install jupyterlab 配置启动目录 jupyter notebook --generate-config 会生产一个配置文件 默认路径C:\Users\用户名\.jupyter\jupyter_notebook_config.py 修改其中的几个配置项 并取消前面的注释 ipython In [1]: from notebook.auth import passwd In [2]: passwd() Enter password: Verify password: Out[2]: 'sha1:f704b702aea2:01e2bd991f9c7208ba177b46f4d10b6907810927' # 配置启动目录 c.NotebookApp.notebook_dir = 'E :/Projects ' # 配置chrom的本地启动功能，让lab像IDE一样在本地打开 c.NotebookApp.browser = 'C:/Program Files (x86)/Google/Chrome/Application/chrome.exe

一.环境配置 centeos7 python3 二.安装jupyter notebook 　　1.安装jupyter 　　安装Jupyter Notebook 　　通过pip安装Jupyter Notebook # 安装jupyter notebook python3 - m pip install jupyter # 安装完会在python3的包管理器，创建一个软连接以便在任何地方都可以直接执行 ln -s /usr/local/python3/bin/jupyter /usr/bin/jupyter 　　通过jupyter notebook命令启动Jupyter服务器，验证是否安装成功 [root@instance-hrnebyqu bin] # jupyter notebook --allow-root [I 11:26:22.273 NotebookApp] JupyterLab beta preview extension loaded from /root/anaconda3/lib/python3.6/site-packages/ jupyterlab [I 11:26:22.273 NotebookApp] JupyterLab application directory is /root/anaconda3/share/jupyter/ lab [I 11:26

超强下一代 Jupyter Notebook ：JupyterLab 3.0 已经发布了，新版本为用户带来了许多新特性，并对扩展系统进行了实质性的改进。 JupyterLab 是广受欢迎的 Jupyter Notebook「新」界面。它是一个交互式的开发环境，可用于 notebook、代码或数据，因此它的扩展性非常强。用户可以使用它编写 notebook、操作终端、编辑 markdown 文本、打开交互模式、查看 csv 文件及图片等。除此以外，JupyterLab 还具有灵活而强大的用户界面。就在近日，这款好用的工具发布了新版本 JupyterLab 3.0。 JupyterLab3.0 在以下几个方面进行了改进： 可视化调试器； 支持多种显示语言； notebook 目录； 扩展系统。 JupyterLab相关参考： Databook-数据之书 将Jupyter/JupyterHub/JupyterLab运行为系统服务 运用Jupyter Notebook进行系统管理 JupyterLab的本地安装和使用（Ubuntu 18.04） JupyterHub on Kubernetes部署与应用指南 JupyterHub on Kubernetes--定制用户环境 JupyterHub on Kubernetes绘图支持软件 JupyterLab安装地图插件 使用SuperMap

杂谈：浅谈工作环境配置 0. 引言 1. 环境的安装 1. miniconda的下载与安装 2. miniconda虚拟环境的创建和删除 3. miniconda虚拟环境的使用 2. jupyter notebook的使用 1. jupyter安装 2. jupyter使用 3. jupyter加载环境 3. 其他常用shell命令 1. 基础命令 2. 查看gpu状态 3. screen命令 4. python环境相关 5. 文件压缩 & 解压 4. 参考链接 0. 引言 故事起源于工作中需要一个tf1.15的环境，然后我平时用的是2.3或者1.14，就得自己再重新安装一个tf1.15的环境，然后发现每一次安装环境都得去google一下命令，嗯，不要问为什么，问就是用的少，记性差，嗯，一定是的。。。 so，干脆这里就自己写个小文章，把常用的这些指令都在这里简单的罗列说明一下好了。 大致会包括： 安装miniconda以及基于miniconda创建虚拟环境 将虚拟环境加载到jupyter notebook当中并远程调用 其他一些常用命令行命令 需要注意的是，因为这里大部分都是我在工作中遇到的一些常用命令的整理，因此逻辑大致会有一些，系统性却一定会有所欠缺。 另外就是，由于我工作中主要使用的就是linux系统，基本不涉及windows系统，因此这里的内容主要针对linux系统

1. 快捷键 在jupyter notebook菜单栏有Help按钮，可以查看jupyter的快捷键 2. 将多个变量输出 一般jupyter notebook默认只打印最后一个变量的结果。比如 from pydataset import data quakes = data ( 'quakes' ) quakes . head ( 10 ) #前10行数据 quakes . tail ( 3 ) #后3行数据 通过设置InteractiveShell.ast node interactivity参数为all，就可以让所有的变量或者声明都能显示出来 from IPython . core . interactiveshell import InteractiveShell InteractiveShell . ast_node_interactivity = 'all' from pydataset import data quakes = data ( 'quakes' ) quakes . head ( 10 ) #前10行数据 quakes . tail ( 3 ) #后3行数据 3. 问号？ 除了Help菜单能让我们快读查看numpy、pandas、scipy和matplotlib库，其实在cell中使用 ? 可以查看库、函数、方法和变量的信息。 #查看库的信息

在日常生活中，我们经常会扫描纸张把它们转换成图像，但这些图像往往存在阴影，我们有各种各样的工具可以在线增强这些图像，使它们的亮度更亮，并消除这些图像中的阴影。那有没有方法可以手动去除阴影呢？比如我们可以将任何图像作为灰度图像加载到我们的代码中，并在几秒钟内获得输出，而无需任何应用程序的帮助。 这是可以通过使用基本的Numpy操作和一些openCV函数来实现。我们使用了下面的图片作为例子，它是用手机拍的。 很明显，它有一个阴影需要删除。 将必要的软件包导入你的环境。为了易于显示图像，我们使用Jupyter Notebook。 import cv2 import numpy as np import matplotlib.pyplot as plt 删除阴影时，有两件事要注意。（1）由于图像是灰度图像，如果图像背景较浅且对象较暗，则必须先执行最大值滤波，然后再执行最小值滤波；（2）如果图像背景较暗且物体较亮，我们可以先执行最小值滤波，然后再进行最大值滤波。 那么，最大值滤波和最小值滤波到底是什么呢？ 3. 最大值滤波 ：假设我们有一个特定大小的图像 I ，我们编写的算法应逐个遍历 I 的像素，并且对于每个像素（x，y）都必须找到该像素周围的邻域（大小为N x N的窗口）中的最大灰度值，并将该最大灰度值写入A中相应的像素位置（x，y），所得图像 A 称为输入图像 I 的最大值滤波图像。