心跳机制

本文整理自 W3Cschool Hadoop 教程 (https://www.w3cschool.cn/hadoop/) Hadoop 关于 大数据概念 不能使用一台机器进行处理数据 大数据的核心是样本=总体 大数据特性 大量性(volume): 一般在大数据里，单个文件的级别至少为几十，几百GB以上 快速性(velocity): 反映在数据的快速产生及数据变更的频率上 多样性(variety): 泛指数据类型及其来源的多样化，进一步可以把数据结构归纳为结构化(structured)，半结构化(semi-structured)，和非结构化(unstructured) 易变性: 伴随数据快速性的特征，数据流还呈现一种波动的特征。不稳定的数据流会随着日，季节，特定事件的触发出现周期性峰值 准确性: 又称为数据保证(data assurance)。不同方式，渠道收集到的数据在质量上会有很大差异。数据分析和输出结果的错误程度和可信度在很大程度上取决于收集到的数据质量的高低 复杂性: 体现在数据的管理和操作上。如何抽取，转换，加载，连接，关联以把握数据内蕴的有用信息已经变得越来越有挑战性 关键技术 数据分布在多台机器上 可靠性：每个数据块都复制到多个节点 性能：多个节点同时处理数据 计算随数据走 网络IO速度 << 本地磁盘 IO 速度，大数据系统会尽量地将任务分配到离数据最近的机器上运行

Eureka是什么？ Eureka是Netflix开发的 服务发现框架 ，本身是一个基于REST的服务，主要用于定位运行在AWS域中的中间层服务，以达到负载均衡和中间层服务故障转移的目的。SpringCloud将它集成在其子项目spring-cloud-netflix中，以实现SpringCloud的服务发现功能。 Eureka包含两个组件：Eureka Server和Eureka Client。 Eureka Server提供服务注册服务，各个节点启动后，会在Eureka Server中进行注册，这样EurekaServer中的 服务注册表 中将会存储所有可用服务节点的信息，服务节点的信息可以在界面中直观的看到。 Eureka Client是一个java客户端，用于简化与Eureka Server的交互，客户端同时也就是一个内置的、使用轮询(round-robin)负载算法的负载均衡器。 （注：什么是AWS域？？？ https://aws.amazon.com/cn/about-aws/ 什么是基于REST服务？？？ https://baike.baidu.com/item/rest/6330506?fr=aladdin ） Eureka原理 （注：Eureka Server之间通过复制的方式完成数据的同步） 上图是来自eureka的官方架构图，这是基于集群配置的eureka：

1. 长连接 　　互联网推送消息主要基于通信双方建立长连接，从而实现实时推送效果。普通的 socket连接对服务器的消耗太大，所以出现了类似MQTT这种轻量级、低消耗的协议来维护长连接。维护长连接需要采用心跳机制，客户端发送一个心跳数据包给服务器，服务器返回给客户端一个心跳应答，从而完成一次客户端-服务器握手，这个握手是让双方都知道他们之间的连接是没有断开的。如果超过一个时间阈值，客户端没有收到服务器的心跳应答，或者服务器没有收到客户端的心跳请求，那么表示通信双方连接已经不存在。对客户端来说，则断开与服务器的连接重新建立一个连接，对服务器来说只要断开这个连接即可。 2. MQTT通信过程 如上图所示，客户端 A连接到消息代理（message broker）,消息代理返回确认消息。客户B发布消息温度25度，客户A订阅‘温度’，消息代理吧消息推给客户A，客户A发布温度20度，但客户B没有订阅，消息代理不推送。消息B又发布了温度38度，客户A就再次收到订阅的消息38度，最后客户端断开连接。以上过程包含如下： 1 CONNECT – 连接服务端：客户端到服务端的网络连接建立后， 客户端发送给服务端的第一个报文必须是CONNECT报文 2 CONNACK – 确认连接请求：服务端发送CONNACK报文响应从客户端收到的CONNECT报文。 服务端发送给客户端的第一个报文必须是CONNACK