Apache Avro

1 需求分析 WebServer/ApplicationServer分散在各个机器上，然而我们依旧想在Hadoop平台上进行统计分析，如何将日志收集到Hadoop平台呢？ 简单的这样吗？ shell cp hadoop集群的机器上； hadoop fs -put ... / 显然该法面临着容错、负载均衡、高延迟、数据压缩等一系列问题 这显然已经无法满足需求了！ 不如问问神奇的Flume呢？？？ 只需要配置文件，轻松解决以上问题！ 2 Flume概述 2.1 官网 Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。 它具有基于流式数据流的简单灵活的架构。 它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错性。 它使用简单的可扩展数据模型，允许在线分析应用程序。 2.2 设计目标 可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。），Store on failure（这也是scribe采用的策略，当数据接收方crash时，将数据写到本地，待恢复后，继续发送），Best effort（数据发送到接收方后，不会进行确认）。 扩展性

9 月正式开启，EMQ 发布了 EMQ X Enterprise 3.4.0 正式版。该版本强化了管理配置和规则引擎功能，新增消息编解码、集群热配置及车联网协议支持，设计了全新的管理监控 Dashboard 页面，是目前企业应用推荐使用的稳定版本。 相关安装包已在 EMQ 官网 开放下载，同时官网提供 License 免费自助申请试用、在线购买 License 授权服务。 EMQ X Enterprise 企业级物联网 MQTT 消息平台，支持百万级物联网设备一站式接入、MQTT&CoAP 多协议处理、低时延实时消息通信。支持基于 SQL 的内置规则引擎，灵活处理/转发消息到后端服务，存储消息数据到各种数据库，或桥接 Kafka、RabbitMQ、Pulsar 等企业中间件。 EMQ X Enterprise 适用于各种物联网应用场景，助企业快速构建物联网应用，并支持公有云、私有云、物理机、容器/K8S 任意部署。 全新的 Dashboard UI 在以往版本的 EMQ X 里 EMQ 围绕 MQTT 消息接入，拓展了一系列方便快速构建物联网应用的基础功能，如认证鉴权/ACL，数据持久化和消息桥接（企业版）并集成至 Dashboard 中。 为了支撑更多新功能的引入及功能引入后系统易用性、监控管理能力的同步改进提升，EMQ 开发团队率先针对企业版设计了全新的 Dashboard

Spring Batch 4.2 的发行版主要增强了下面的改进： 使用 Micrometer 来支持批量指标（batch metrics） 支持从 Apache Kafka topics 读取/写入（reading/writing） 数据 支持从 Apache Avro 资源中读取/写入（reading/writing） 数据 改进支持文档 使用 Micrometer 的批量指标 本发行版本介绍了可以让你通过使用 Micrometer 来监控你的批量作业。在默认的情况下，Spring Batch 将会收集相关批量指标（包括，作业时间，步骤的时间，读取和写入的项目，以及其他的相关信息），和将这些指标通过 spring.batch 前缀（prefix）注册到 Micrometer 的全局指标中。 这些指标可以发布到任何能够支持 Micrometer 的 监控系统（monitoring system） 中。 有关这个新特性的更多细节，请参考 Monitoring and metrics 章节中的内容。 Apache Kafka item 读取/写入 本发行版本添加了一个新的 KafkaItemReader 和 KafkaItemWriter ，用来从 Kafka 的 topics 中读取和写入。 有关更多这个新组建的信息，请参考： Javadoc 。 Apache Avro item