JupyterHub

I want to start my notebooks with jupyter notebook --NotebookApp.iopub_data_rate_limit=10000000000 arguments. Where one could set it in JupyterHub? Workhorse Open the command line and enter jupyter notebook --NotebookApp.iopub_data_rate_limit=1e10 This should start jupyter with the increased data rate. You have to create config file using this command $ jupyter notebook --generate-config , The answer in this link Vahab 04: "IOPUB data rate exceeded" problem of "jupyter low memory.." in windows: open cmd: in main path:C:\Users\siege> (this is my root path) type the command: "jupyter notebook -

因为JupyerHub for K8s升级后奔溃了，寻求一个本地Notebook编辑和运行的方案，想到了Visual Studio Code。以前Windows上的Visual Studio是老相好，玩了Linux后已被抛弃多年。只是现在vscode已经是完全重写了，还可以运行在Linux上面，试一试再续前缘。 Visual Studio Code 远程开发探秘 1、下载安装 在Ubuntu 18.04的软件库里是有的，只是各种错误、装不上。 https://code.visualstudio.com/ https://code.visualstudio.com/docs 到vscode的官网下载一个，运行sudo dpkg -i，安装完毕。 https://code.visualstudio.com/docs/setup/linux 到应用软件中找到vscode，点击打开，任务栏上设为收藏。 2、插件安装 打开菜单“文件/扩展”，安装python/notebook。 https://code.visualstudio.com/docs/python/python-tutorial#_prerequisites https://code.visualstudio.com/docs/languages/python 注意状态栏的右下角，可以任意切换当前窗口的代码解释器。 3

Kubernentes已经是1.16.3版本了，引入了不少很好的新功能。不过，如果是从以前的版本跨大版本升级上来的，还是会遇到很多的问题。 想要升级，参考： Kubernetes 1.16.0快速升级 1、主要变化 除了apiserver/controller/scheduler几个主要的服务的镜像版本变为1.16.3之外，其它包括： etcd使用的是3.3.15-0（还不是最新的4.x系列）。 CoreDNS使用的是 1.6.2（1.15.x还是1.3.1，变化比较大），这个会引起启动失败。 2、Docker支持 Ubuntu系统自动升级Docker-CE到了19.3.4，但是使用kubectl get node -owide获取节点信息发现，始终是Not Ready状态。 查看状态：kubectl describe node/podc01，发现CNI失败。 将其降级到19.3.2后就可以了。 方法： 查看可用版本：sudo apt list docker-ce -a 安装制定版本：sudo apt install docker-ce=xxxxxx Update the /etc/docker/daemon.json: https://my.oschina.net/u/2306127/blog/2996776 3、CoreDNS CoreDNS使用的是 1.6.2（1.15

Kubeflow是一个面向Kubernetes集群运行的机器学习框架。要想使用得先想办法把镜像搬到自己的环境里来。 目前版本0.3.3的容器镜像已经搬回来，可以使用下面的脚本来从Aliyun的镜像服务站下载： Kubeflow系统容器镜像（0.3.3）： echo "" echo "=================================================================" echo "Pull kubeflow images for system from aliyun.com ..." echo "This tools created by openthings, NO WARANTY. 2018.11.28." echo "=================================================================" MY_REGISTRY=registry.cn-hangzhou.aliyuncs.com/openthings echo "" echo "1. centraldashboard" docker pull ${MY_REGISTRY}/kubeflow-images-public-centraldashboard:v0.2.1 docker tag ${MY_REGISTRY}

大数据分析中，进行流程化的批处理是必不可少的。传统的大数据处理大部分是基于关系数据库系统，难以实现大规模扩展；主流的基于Hadoop/Spark体系总体性能较强，但使用复杂、扩展能力弱。大数据分析向Kubernnetes等容器集群发展是大势所趋，AirFlow、NiFi、MLFlow、KubeFlow就是可以用于这些方向的新兴开源软件平台，可以充分容器集群和DevOps、云计算的优势，而且将传统的大量数据处理和机器学习等先进算法能够实现有机的结合。 AirFlow数据流程化处理系统 AirFlow是可编程的DAG流程框架，主要通过Python执行。最新版本通过Executor机制支持Kubernetes集群作为执行环境，从而可以将大量数据处理的流程在容器云中进行迁移。 Airflow在Kubernetes上的操作器 AirFlow-Tutorial AirFlow-Install Notebook Workflows: The Easiest Way to Implement Apache Spark Pipelines NiFi可视化数据流处理系统 通过可视化的方法编辑流程，并在线运行，支持后台监控、任务调度、执行器扩展等能力。NiFi采用Java和HTML开发，通过Web浏览器访问图形交互界面，服务器端可以运行于容器中。 NiFi ( https://nifi.apache

Kubernetes 1.16.0 已经正式发布，快速升级（含国内镜像快速下载链接）包括升级kubeadm/kubectl/kubelet版本、拉取镜像、升级Kubernetes集群三个主要步骤。参考《 Ubuntu上软件锁定版本不更新 》安装特定DockerCE版本。 Kubernetes 1.16.0 发布-新版本四大主题， https://www.oschina.net/news/109996/kubernetes-1-16-0-released ChangeLog, https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.15.md Kubernetes 1.15 发布，可扩展性与持续性改进, https://www.oschina.net/news/107618/kubernetes-1-15-released kubeadm升级kubernetes到1.15.0版本, https://www.codercto.com/a/88502.html Kubernetes v1.15.0 环境搭建 - CentOS, https://www.jianshu.com/p/832bcd89bc07 1、升级kubeadm/kubectl/kubelet版本 sudo apt install kubeadm=1

Kubernetes 1.14.2 已经正式发布，快速升级（含国内镜像快速下载链接）包括升级kubeadm/kubectl/kubelet版本、拉取镜像、升级Kubernetes集群三个主要步骤。参考《 Ubuntu上软件锁定版本不更新 》安装特定DockerCE版本。 1、升级kubeadm/kubectl/kubelet版本 sudo apt install kubeadm=1.14.2-00 kubectl=1.14.2-00 kubelet=1.14.2-00 kubernetes for china 查看该版本的容器镜像版本： kubeadm config images list 输出如下： ~# kubeadm config images list k8s.gcr.io/kube-apiserver:v1.14.2 k8s.gcr.io/kube-controller-manager:v1.14.2 k8s.gcr.io/kube-scheduler:v1.14.2 k8s.gcr.io/kube-proxy:v1.14.2 k8s.gcr.io/pause:3.1 k8s.gcr.io/etcd:3.3.10 k8s.gcr.io/coredns:1.3.1 2、拉取容器镜像 原始的kubernetes镜像文件在gcr上，不能直接下载

Kubernetes 1.15.0 已经正式发布，快速升级（含国内镜像快速下载链接）包括升级kubeadm/kubectl/kubelet版本、拉取镜像、升级Kubernetes集群三个主要步骤。参考《 Ubuntu上软件锁定版本不更新 》安装特定DockerCE版本。 ChangeLog, https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.15.md Kubernetes 1.15 发布，可扩展性与持续性改进, https://www.oschina.net/news/107618/kubernetes-1-15-released kubeadm升级kubernetes到1.15.0版本, https://www.codercto.com/a/88502.html Kubernetes v1.15.0 环境搭建 - CentOS, https://www.jianshu.com/p/832bcd89bc07 1、升级kubeadm/kubectl/kubelet版本 sudo apt install kubeadm=1.15.0-00 kubectl=1.15.0-00 kubelet=1.15.0-00 kubernetes for china 查看该版本的容器镜像版本： kubeadm

Kubernetes 1.14.1 已经正式发布，快速升级（含国内镜像快速下载链接）包括升级kubeadm/kubectl/kubelet版本、拉取镜像、升级Kubernetes集群三个主要步骤。参考《 Ubuntu上软件锁定版本不更新 》安装特定DockerCE版本。 1、升级kubeadm/kubectl/kubelet版本 sudo apt install kubeadm=1.14.1-00 kubectl=1.14.1-00 kubelet=1.14.1-00 查看该版本的容器镜像版本： kubeadm config images list 输出如下： ~# kubeadm config images list k8s.gcr.io/kube-apiserver:v1.14.1 k8s.gcr.io/kube-controller-manager:v1.14.1 k8s.gcr.io/kube-scheduler:v1.14.1 k8s.gcr.io/kube-proxy:v1.14.1 k8s.gcr.io/pause:3.1 k8s.gcr.io/etcd:3.3.10 k8s.gcr.io/coredns:1.3.1 2、拉取容器镜像 原始的kubernetes镜像文件在gcr上，不能直接下载。我给镜像到了阿里云的杭州机房的容器仓库里，拉取还是比较快的。 echo "