分布式部署

本文用四节点部署GaussDB T 1.0.1分布式集群，部署完成后再将其升级到1.0.2版本(直接安装1.0.2版本，在安装过程中会遇到segment fault报错，目前尚未解决)。前期操作系统准备工作参考之前的几篇文章。 1、部署分布式集群 1.1 节点信息 各节点信息如下表所示： 1.2 集群参数文件 根据实际情况修改集群参数，或者通过database manager工具生成，内容如下： [root@onas db]# vi clusterconfig.xml <?xml version="1.0" encoding="UTF-8"?><ROOT> <CLUSTER> <PARAM name="clusterName" value="GT100"/> <PARAM name="nodeNames" value="hwd08,hwd09,hwd10,hwd11"/> <PARAM name="gaussdbAppPath" value="/opt/huawei/gaussdb/app"/> <PARAM name="gaussdbLogPath" value="/var/log/huawei/gaussdb"/> <PARAM name="archiveLogPath" value="/opt/huawei/gaussdb/arch_log"/> <PARAM name=

1.测试MySQL连接 bin/sqoop list-databases --connect jdbc: mysql://192.168.1.187:3306/trade_dev --username 'mysql' --password '111111' 2.检验SQL语句 bin/sqoop eval --connect jdbc: mysql://192.168.1.187:3306/trade_dev --username 'mysql' --password '111111' --query "SELECT * FROM TB_REGION WHERE REGION_ID = '00A1719A489D4F49906A8CA9661CCBE8'" 3.导入hdfs 3.1 导入 bin/sqoop import --connect jdbc: mysql://192.168.1.187:3306/trade_dev --username 'mysql' --password '111111' --table TB_REGION --target-dir /sqoop/mysql/trade_dev/tb_region -m 5 --columns "code,name,category,farthercode,visible,regionlevel,region_id"

首先，所谓网站的伸缩性，指 不需要改变网站的软硬件设计，仅仅通过改变部署的服务器数量就可以扩大或者缩小网站的服务处理能力 。在整个互联网行业的发展渐进演化中，最重要的技术就是 服务器集群 ，通过不断地向集群中添加服务器来增强整个集群的处理能力。 一、网站架构的伸缩性设计 1.1 不同功能进行物理分离实现伸缩 　　（1）纵向分离：将业务处理流程上得不同部分分离部署，实现系统的伸缩性； 　　（2）横向分离：将不同的业务模块分离部署，实现系统的伸缩性； 1.2 单一功通过集群规模实现伸缩 　　使用服务器集群，即将相同服务部署在多台服务器上构成一个集群整体对外提供服务。具体来说，集群伸缩性又分为应用服务器集群伸缩性和数据服务器集群伸缩性。这两种集群对于数据状态管理的不同，技术实现也有很大的区别。 　It is said that 当一头牛拉不动车的时候，不要去寻找一头更强壮的牛，而是用两头牛来拉车 。 二、应用服务器集群的伸缩性设计 2.1 应用服务器那点必须知道的事儿 　　（1）应用服务器应该被设计成 无状态 的，即应用服务器不存储请求上下文信息；构建集群后，每次用户的请求都可以发到集群中任意一台服务器上处理，任何一台服务器的处理结果都是相同的； 　　（2）HTTP本身是一个无状态的连接协议，为了支持客户端与服务器之间的交互，我们就需要通过不同的技术为交互存储状态

原创作者：张磊、邓洪超 如果我问你，如何把一个 etcd 集群部署在 Google Cloud 或者阿里云上，你一定会不假思索的给出答案：当然是用 etcd Operator！ 实际上，几乎在一夜之间，Kubernetes Operator 这个新生事物，就成了开发和部署分布式应用的一项事实标准。时至今日，无论是 etcd、TiDB、Redis，还是 Kafka、RocketMQ、Spark、TensorFlow，几乎每一个你能叫上名字来的分布式项目，都由官方维护着各自的 Kubernetes Operator。而 Operator 官方库里，也一直维护着一个知名分布式项目的 Operator 汇总。 https://github.com/operator-framework/awesome-operators 短短一年多时间，这个列表的长度已经增长了几十倍。 而且更有意思的是，如果你仔细翻阅这个 Operator 列表，你就不难发现这样一个有趣的事实：现今 Kubernetes Operator 的意义，恐怕已经远远超过了“分布式应用部署”的这个原始的范畴，而已然成为了容器化时代应用开发与发布的一个全新途径。所以，你才会在这个列表里看到，Android SDK 的开发者们，正在使用 Operator “一键”生成和更新 Android 开发环境；而 Linux 系统工程师们

作者：网易云 链接： https://www.zhihu.com/question/27696290/answer/381993207 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 什么是大数据 近几年，市场上出现了很多和大数据相关的岗位，不管是数据分析、数据挖掘，或者是数据研发，都是围绕着大数据来做事情，那么，到底什么是大数据，就是我们每一个要学习大数据技术的朋友要了解的事情了，根据百度百科的介绍 大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1] 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。 [2] 思维导图 大数据方面核心技术有哪些？ 大数据的概念比较抽象，而大数据技术栈的庞大程度将让你叹为观止。 大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算

转载自 https://www.cnblogs.com/wetest/p/6806506.html 和 https://www.cnblogs.com/dudu0614/p/8821811.html 什么是分布式系统 分布式这一概念，一直都是后端工程师绕不过去的一个坎，今天，我们就一起来看看到底什么是分布式系统，又有哪些分布式技术世我们需要学习的。 根据百度百科的介绍，分布式系统（distributed system）是建立在网络之上的软件系统。正是因为软件的特性，所以分布式系统具有高度的内聚性和透明性。因此，网络和分布式系统之间的区别更多的在于高层软件（特别是操作系统），而不是硬件。 从分布式系统的诞生说起 我们常常会听说，某个互联网应用的服务器端系统多么牛逼，比如QQ、微信、淘宝。那么，一个互联网应用的服务器端系统，到底牛逼在什么地方？为什么海量的用户访问，会让一个服务器端系统变得更复杂？本文就是想从最基本的地方开始，探寻服务器端系统技术的基础概念。 承载量是分布式系统存在的原因 当一个互联网业务获得大众欢迎的时候，最显著碰到的技术问题，就是服务器非常繁忙。当每天有1000万个用户访问你的网站时，无论你使用什么样的服务器硬件，都不可能只用一台机器就承载的了。因此，在互联网程序员解决服务器端问题的时候，必须要考虑如何使用多台服务器，为同一种互联网应用提供服务，这就是所谓

Zookeeper常用的应用场景 分布式协调： 简单来说就是有人对Zookeeper中的数据做了监听，如果修改了Zookeeper中被监听的数据，Zookeeper反过来就会告诉发起监听的人数据变更。比如在kafka的设计中，kafka的一个节点在Zookeeper中创建了一个数据，kafka的策略是谁创建了这个数据谁就是kafka集群的主节点，其余的节点都会去监听这个数据。如果主节点宕机了，这Zookeeper对应的数据就会发送变更，即而监听这个数据的其余节点就会感知到主节点宕机，然后重新进行选举。 元数据管理： 很多分布式的程序需要集中式管理自己的元数据，这个时候Zookeeper就是一个很好的选择。比如kafka、Storm等分布式的工具就会把集群里核心的元数据存放在Zookeeper中。 高可用： 很多分布式项目都是主从架构（一个主节点+多个从节点）。如果只有一个主节点的话，程序就会有单点故障问题，那么这个时候就需要部署多个从节点实现高可用。如HDFS就是靠Zookeeper实现高可用的 分布式锁： 注意的是Zookeeper不支持高并发，在高并发的情况建议使用Redis实现分布式锁，并发不太高的情况下使用Zookeeper实现分布式锁比较方便。 Zookeeper架构 在Zookeeper集群中，集群的服务角色分为leader和learner

Kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。 前提条件是，有storageclass，利用pvc 创建持久化存储 创建kube-ops namespace 这里创建opspvc 另外把accessmode 换成readwritemany，因为会有多个pod 进行读写 然后部署jenkins master deployment如下 --- apiVersion: extensions/v1beta1 kind: Deployment metadata: name: jenkins namespace: kube-ops spec: template: metadata: labels: app: jenkins spec: terminationGracePeriodSeconds: 10 serviceAccountName: jenkins containers: - name: jenkins image: jenkins/jenkins:lts imagePullPolicy: IfNotPresent ports: - containerPort: 8080 name: web protocol:

本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是 分布式专题的第11篇 文章，我们一起来聊聊 分布式集群资源管理 。 在开始文章之前，我们先来问一个问题， 为什么是国际上是亚马逊，国内是阿里这两家公司云计算搞得最好呢 ？这两家公司之间有一个巨大的共同点，就是它们都是 电商公司 。电商公司的特点很明显，就是流量不是固定的，往往会受到大促、节日的影响。像是国内的双十一和美国的黑色星期五就是典型的大促。在大促的时候的流量会是平常的十倍甚至更多，这么大的流量必须要有更多的机器去应对。但问题是如果去买这么多机器，但是大促过了，流量下降，那么这些机器就又用不到了，显然就会造成浪费。 那怎么样才能 避免浪费 呢？就是搞一个大集群，把所有机器和计算资源管理起来，大促的时候就用来应对大促的流量，平时呢可以用来搞搞大数据运算或者是租给其他公司或个人，形成一定的经济收益，总是就是 不让这些机器闲着，以免浪费 。 本质上来说，亚马逊和阿里搞云计算、云服务器背后的核心驱动因素之一原因都是为了解决这个问题。 集群资源管理 集群资源管理是分布式非常普遍的应用场景，可以说是无论公司大小都必然有所接触。像是阿里云、亚马逊云说起来很高大上，但是底层也离不开这个。 这个问题的背景非常简单，无论 大小公司往往都不止一套系统 。但是公司的资源是有限的也是固定的，但是我们需要应用机器的场景却是灵活的

（ 转载： http://www.36dsj.com/archives/85383 ）机器学习与人工智能，相信大家已经耳熟能详，随着 大规模标记数据的积累 、 神经网络算法的成熟 以及 高性能通用GPU的推广 ，深度学习逐渐成为计算机专家以及大数据科学家的研究重点。近年来，无论是 图像的分类 、 识别和检测 ，还是 语音生成、自然语言处理 ，甚至是AI下围棋或者打游戏都基于深度学习有了很大的突破。而随着 TensorFlow、Caffe 等开源框架的发展，深度学习的门槛变得越来越低，甚至初中生都可以轻易实现一个图像分类或者自动驾驶的神经网络模型，但目前最前沿的成果主要还是出自Google、微软等巨头企业。 Google不仅拥有优秀的人才储备和大数据资源，其得天独厚的基础架构也极大推动了AI业务的发展，得益于内部的 大规模集群调度系统Borg ，开发者可以快速申请大量GPU资源进行模型训练和上线模型服务，并且 通过资源共享和自动调度保证整体资源利用率也很高 。Google开源了TensorFlow深度学习框架，让开发者可以在本地轻易地组合MLP、CNN和RNN等模块实现复杂的神经网络模型， 但TensorFlow只是一个数值计算库，并不能解决资源隔离、任务调度等问题，将深度学习框架集成到基于云计算的基础架构上将是下一个关键任务 。 除了Google、微软，国内的百度也