分布式处理

1.1Hazelcast概述 Hazelcast是基于内存的数据网格开源项目，同时也是该公司的名称。Hazelcast提供弹性可扩展的分布式内存计算，Hazelcast被公认是提高应用程序性能和扩展性最好的方案。Hazelcast通过开放源码的方式提供以上服务。更重要的是，Hazelcast通过提供对开发者友好的Map、Queue、ExecutorService、Lock和JCache接口使分布式计算变得更加简单。例如，Map接口提供了内存中的键值存储，这在开发人员友好性和开发人员生产力方面提供了NoSQL的许多优点。 除了在内存中存储数据外，Hazelcast还提供了一组方便的api来访问集群中的cpu，以获得最大的处理速度。轻量化和简单易用是Hazelcast的设计目标。Hazelcast以Jar包的方式发布，因此除Java语言外Hazelcast没有任何依赖。Hazelcast可以轻松地内嵌已有的项目或应用中，并提供分布式数据结构和分布式计算工具。 Hazelcast 具有高可扩展性和高可用性（100%可用，从不失败）。分布式应用程序可以使用Hazelcast进行分布式缓存、同步、集群、处理、发布/订阅消息等。Hazelcast基于Java实现，并提供C/C++，.NET，REST，Python、Go和Node.js客户端。Hazelcast遵守内存缓存协议

我在区块链会议上就即将到来的公共“分布式云”系统进行了讨论，该系统将主流的公共云平台（如AWS，Azure，Google Cloud，Heroku等）与区块链和P2P网络相结合，比如以太坊，IPFS，EOS，TRON，NEM，NEO，Storj，Sia......为什么？因为分布式组织（DAO）和分布式计算的发展趋势很好，并且行业需要更强大的平台来构建和运行DApp（分布式应用程序）。 让我与大家分享一下我对未来分布式计算网络（也称为“分布式云平台”）的看法。 计算模型和软件系统一直在变化：从独立软件到客户端 - 服务器系统，再到基于云的基础架构和平台。现在，计算模型的下一个重大变革即将到来，它将影响许多行业：分布式，包括一种新型的分布式组织，执行分布式流程，使用分布式数据存储，分布式计算系统，运行和发展分布治理。区块链和其他分布式账本技术（DLT）以及即将推出的分布式数据库，存储系统和其他分布式计算组件将成为新的“分布式云”的核心，这将允许运行分布的IT基础架构和“软件组织” （DAO）在权力下放的治理下没有所有者，没有雇员。由于其透明性，安全性，可追溯性，降低成本和削减中间人的能力，这种区块链和分布运动为许多行业带来了创新和转型：财务，供应链，医疗保健，政府，预测，保险，流动性，投票， IT基础设施，电信和其他。 分布式计算的演变 计算模型发展：单机 - >数据中心 -

平常一个B2B平台交互时，就需要服务器集群和分布式处理 一.服务器集群 如果一个Tomcat 可以处理500个并发请求（实际可以处理200~300的并发就不错了），那么10000个并发请求，就需要20台服务器做Tomcat集群,当tomcat集群中节点数据增加，服务器能力先增加后下降。所以集群中节点(服务器)数量不能太多，一般也就5个左右（节点如果多了就会使服务器性能呈抛物线形式发展），所以通过增加硬件来提高服务器性能是不可能了（就是因为Session复制问题），那么就需要软件来解决这个问题 ； 当然中间就需要一台负载均衡服务器（如：Nginx），然后将并发请求分布在两台服务器上或者更多服务器上，比如在登录tomcat1后，将登录信息进行session共享给tomcat2,这样才能保证好的体验度，就是说平常在硬件能解决问题的情况下，绝对不用软件，因为软件改起来比较麻烦，那就花钱呗，就是增加硬件服务器。 注： 关注点 Tomcat分享/广播登录信息（ Session复制导致集群节点太多，才会使性能呈抛物线 ）。 服务器集群 按照自己的理解就是一个工程运行在多个服务器上，自然做的事就是同一件事喽，达到共享信息，复制的功能。 二.分布式 1.个人理解： 需要按照功能点将系统进行拆分，拆分成独立的功能。单独为某一个节点添加服务器，需要系统之间配合才能完成整个业务逻辑，叫做分布式。

转： http://baike.baidu.com/link?url=HwhPVuqqWelWIr0TeSBGPZ5SjoaYb5_Givp9-rJN-PYbSTMlwpECSKvjzLBzUE7hn9VvmhDoKb5NNCPw1pCsTa Hadoop 是一个由Apache基金会所开发的 分布式系统 基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 [1] Hadoop实现了一个 分布式文件系统 （Hadoop Distributed File System），简称HDFS。HDFS有高 容错性 的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问 应用程序 的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 [2] 中文名 海杜普 外文名 Hadoop 类 别 电脑程序 全 称 Hadoop Distributed File System 目录 1 起源 ▪ 项目起源 ▪

一 、Hadoop 简介： 1. 大数据略知一二： 1）大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，需要在合理的时间内达到提取、管理、处理、并且整理成为帮助企业运营决策更积极目的的信息； 2）在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理； 3）大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。 图解大数据： http://www.ruanyifeng.com/blog/2017/07/iaas-paas-saas.html 3. 项目起源： Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。2006 年 3 月份，Map/Reduce 和 Nutch Distributed File System (NDFS)

废话不说直接来一张图如下： 从JVM的角度看Map和Reduce Map阶段包括： 第一读数据：从HDFS读取数据 1、问题:读取数据产生多少个Mapper？？ Mapper数据过大的话，会产生大量的小文件，由于Mapper是基于虚拟机的，过多的Mapper创建和初始化及关闭虚拟机都会消耗大量的硬件资源； Mapper数太小，并发度过小，Job执行时间过长，无法充分利用分布式硬件资源； 2 、 Mapper 数量由什么决定？？ （ 1 ） 输入文件数目 （ 2 ） 输入文件的大小 （ 3 ） 配置参数 这三个因素决定的。 涉及参数： mapreduce.input.fileinputformat.split.minsize //启动map最小的split size大小，默认0 mapreduce.input.fileinputformat.split.maxsize //启动map最大的split size大小，默认256M dfs.block.size//block块大小，默认64M 计算公式：splitSize = Math.max(minSize, Math.min(maxSize, blockSize)); 例如 默认情况下：例如一个文件800M，Block大小是128M，那么Mapper数目就是7个。6个Mapper处理的数据是128M，1个Mapper处理的数据是32M

　本文只是一个概念，具体配置太多，这里不做细节描述。 　　1、分布式应用的概念和优势 　　分布式数据库是指利用高速网络将物理上分散的多个数据 存储 单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获得更大的存储容量和更高的并发访问量。近年来，随着数据量的增长，分布式数据库技术也得到了快速的发展，传统的关系型数据库开始从集中式模型向分布式存储，从集中式计算走向分布式计算。 　　分布式数据库系统的主要目的是容灾、异地数据备份，并且通过就近访问原则，用户可以就近访问数据库节点，这样就实现了异地的负载均衡。同时，通过数据库之间的数据传输同步，可以分布式保持数据的一致性，这个过程完成了数据备份，异地存储数据在单点故障的时候不影响服务的访问，只需要将访问流量切换异地镜像就行。 　　分布式数据库应用的优势如下： 　　(1)适合分布式数据管理，能够有效提高系统性能。 　　(2)系统经济性和灵活性好。 　　(3)系统的可靠性和可用性强。 　　2、mysql分布式应用的主要技术 　　(1)mysql数据切割 　　数据切割(sharding)是指通过某种特定的条件，将存放在同一数据库中的数据分散存放到多个数据库(主机)上面，以达到分散单台设备负载的效果。数据切分还可以提高系统的总体可用性，因为单台crash之后

1.环境搭建 2.爬去真实数据 a.正则表达式 b.深度优先和广度优先遍历算法 c.url的去重的常见策略 3.scrapy 突破反爬虫技术 图片验证码 IP 访问频率限制 user-agent随机切换 4.scrapy 进阶 spider item item loader pipeline feed export CrawlSpider scrapy 的原理 基于scrapy的中间件开发 动态网站的抓取处理 将selenium和phantomjs 集成到scrapy中 scrapy log 配置 email 发送 scrapy 信号 5.scrapy redis 分布式爬虫 理解scrapy-redis 分布式爬虫 集成bloomfilter 到scrapy-redis 中 6.elasticsearch django 实现搜索引擎 elasticsearch 开源的分布式搜索引擎 来源： oschina 链接： https://my.oschina.net/u/730477/blog/1573858

摘要 Hadoop分布式文件系统（HDFS）设计用来可靠的存储超大数据集，同时以高速带宽将数据集传输给用户应用。 在一个超大集群中，数以千计的服务器直接接触存储器和执行用户应用任务。 通过许多服务器的分布式存储和计算，资源随需求增长的时候仍然可以保持经济性。 我们解释了HDFS架构，同时介绍了我们在雅虎使用HDFS去管理25PB企业数据的经验。 1、介绍和相关工作 Hadoop 的 一个重要特点是将数据和计算能力划分为小部分，通过许多（数千）主机运行 ，这些主机并行计算得到他们的结果。一个 Hadoop 集群通过简单增加商用服务器的数量来扩展其计算能力，存储能力和 IO 带宽。 1.1、与其他分布式系统的异同点 相同点 HDFS 分别存储文件系统元数据和应用程序数据。 与在 其他分布式文件系统 中相同， 比如 PVFS 【 2 】【 14 】， Lustre 【 7 】和 GFS 【 5 】【 8 】， HDFS 在一个专门的服务器存储元数据，这个服务器被称为名称节点。应用程序数据存储在其他被称为数据结点的服务器上。 不同点 HDFS中的数据节点 并不使用数据保护机制 比如RAID（ 独立磁盘冗余阵列 ），以确保数据持久性。 相反。比如GFS， 其文件内容在多个数据节点是重复的以确保可靠性 。 这个策略不仅仅可以确保数据持久性，还有额外的优点：数据变形带宽加倍

推荐！国外程序员整理的系统管理员资源大全 2015-1-19 12:24 发布者: admin 微博分享 受其他程序员汇编 php 资源，kahun 在 Github 发起系统管理员相关的开源资源整理。 内容分类包括：备份/克隆软件、云计算/云存储、协作软件、配置管理、日志管理、监控、项目管理…… 当然也有系统管理员相关书籍。 备份 备份软件 Amanda -客户端-服务器模型备份工具 Bacula - 另一个客户端-服务器模型备份工具 Backupninja -轻量级，可扩展的元数据备份系统 Backuppc -客户端-服务器模型备份工具和文件共享方案。 Burp -网络备份和还原程序 Duplicity -使用rsync算法加密的带宽-效率备份 Lsyncd -监控一个本地目录树的变化,然后产生一个进程去同步变化。默认使用rsync。 Rsnapshot -文件系统快照工具 SafeKeep -使用rdiff-backup，集中的，基于pull的备份 TarSnap - 具有一个开源客户端的安全备份服务 UrBackup -另一个客户端-服务器备份系统 DREBS - AWS EBS支持策略的备份脚本 克隆 克隆软件 Clonezilla -分区和磁盘镜像/克隆程序 Fog - 另一个计算机克隆解决方案 Redo Backup -简单的备份，恢复和还原 云计算 AppScale