流应用

2003 年，老兵哥初到中兴开始研究生实习，Spring 就是那年诞生的，2004 年 3 月发布了 1.0 版本，到现在已经超过 15 年了。从单体式分层架构到云原生微服务架构，它稳坐在 JAVA 应用框架的头把交椅上从未被撼动，它给我们带来了巨大的价值，不仅可以降低开发难度，同时还可以提升开发效率。但时间这把杀猪刀不仅改变了老兵哥，也同样没放过 Spring，我们都变得越来越强大了。 在 Spring Boot / Spring Cloud 面世之前，它已经演进了 5 个大版本和无数小版本，功能和生态都变得越来越丰富。但对初涉 Spring 的小伙伴们来说，这就不太公平了，不像老兵哥可以伴着它慢慢成长，现在这套技术栈已经很庞大了，短时间内吃透这个巨无霸，有没有捷径可走呢？有，就像当年 DOS 操作系统一张软盘就装下了，总共才几 MB，现在动不动就几十上百 GB，但操作系统内核是很小的，其原理机制就是教科书上那些，一生二、二生三、三生万物，唯有掌握这些稳定不变的“一二三”，即核心原理机制（例如：IOC \ AOP \ ORM 等），那我们的学习就可以达到事半功倍了。 就像我们购买了毛坯房，入住前必须装修一番，其中水、电、气、网等管路的布线必须先行，不同管路有不同的走法，有的走地板，有的走墙面，等管路都铺设妥当了才能铺地砖、吊天花、刷墙贴纸等。作为业主，如果你不知道这些管路的走线

2. HTTP 请求在 Web 容器中的处理流程 Web 容器以进程的方式在计算机上运行，我们知道进程是系统资源分配的最小单元，线程是系统任务执行的最小单元。从这个角度看，Web 容器就像是邮包收件人所居住的楼宇或小区，HTTP 这套物流快递体系只能将邮包投递到楼宇前台或者小区物业等处，而楼宇前台或小区物业并不属于物流快递体系，就像 Web 容器并不属于计算机网络基础设施一样。之所以这样分工，原因是网络路由信息由域名服务器 DNS、路由器等设备掌握，Web 容器内部体系结构信息只有它自己知道。从 Web 容器接收到 HTTP 请求，到将其投送至特定的应用，这期间还会经历一个复杂的过程，了解这个过程对于日常开发和问题分析都会有所帮助。接下来，老兵哥我将陪着你一起来剖析这个过程。 JAVA 语言领域的 Web 容器类型非常多，包括 Tomcat、Jetty、Resin、Websphere、Weblogic、JBoss、Glassfish、GonAS 等，其中 Tomcat 是由 Apache Software Foundation 维护的开源 Web 容器。Tomcat 市场占用率接近 60%，截止目前是最受欢迎的 Web 容器，如下图所示横跨 Web 服务器和 Java 应用服务器。 我们就以 Tomcat 为例来看看 Web 容器的内部结构，作为符合 JAVA Servlet

3. HTTP 请求在 Web 应用中的处理流程 在穿越了 Web 容器之后，HTTP 请求将被投送到 Web 应用，我们继续以 Tomcat 为例剖析后续流程。Web 容器与 Web 应用的衔接是通过配置文件 web.xml 完成的。web.xml 是遵循 Java Servlet 标准规范的配置文件，我们通过这份配置文件定义构成 Web 应用的各种核心组件和初始化配置，其中包括：过滤器 Filter、监听器 Listener、伺服器 Servlet 等等。不同组件分别承担不同的功能，在介绍 Web 应用处理 HTTP 请求流程之前，我们照例先来了解一下这些核心组件。 3.1 Web 应用核心组件简介 3.1.1 过滤器 Filter 过滤器 Filter 负责对 HTTP 请求做预处理，接着将请求交给 Servlet 进行处理并生成响应，最后 Filter 再对响应进行后处理。从 HTTP 请求的处理过程来看，Filter 主要参与以下几个环节： 在 HttpServletRequest 到达 Servlet 之前，拦截客户的 HttpServletRequest。 根据需要检查 HttpServletRequest，也可以修改 HttpServletRequest 报文头和数据。 在 Servlet 生成的 HttpServletResponse 抵达客户端之前，拦截

作者：陈肃 整理：周奇，Apache Flink 社区志愿者 本文根据陈肃老师在 Apache Kafka x Flink Meetup 深圳站的分享整理而成，文章首先将从数据融合角度，谈一下 DataPipeline 对批流一体架构的看法，以及如何设计和使用一个基础框架。其次，数据的一致性是进行数据融合时最基础的问题。如果数据无法实现一致，即使同步再快，支持的功能再丰富，都没有意义。 另外，DataPipeline 目前使用的基础框架为 Kafka Connect。为实现一致性的语义保证，我们做了一些额外工作，希望对大家有一定的参考意义。 最后，会提一些我们在应用 Kafka Connect 框架时，遇到的一些现实的工程问题，以及应对方法。尽管大家的场景、环境和数据量级不同，但也有可能会遇到这些问题。希望对大家的工作有所帮助。 一、批流一体架构 批和流是数据融合的两种应用形态 下图来自 Flink 官网。传统的数据融合通常基于批模式。在批的模式下，我们会通过一些周期性运行的 ETL JOB，将数据从关系型数据库、文件存储向下游的目标数据库进行同步，中间可能有各种类型的转换。 另一种是 Data Pipeline 模式。与批模式相比相比， 其最核心的区别是将批量变为实时：输入的数据不再是周期性的去获取，而是源源不断的来自于数据库的日志、消息队列的消息。进而通过一个实时计算引擎

本文根据陈肃老师在 Apache Kafka x Flink Meetup 深圳站的分享整理而成，文章首先将从数据融合角度，谈一下 DataPipeline 对批流一体架构的看法，以及如何设计和使用一个基础框架。其次，数据的一致性是进行数据融合时最基础的问题。如果数据无法实现一致，即使同步再快，支持的功能再丰富，都没有意义。 另外，DataPipeline 目前使用的基础框架为 Kafka Connect。为实现一致性的语义保证，我们做了一些额外工作，希望对大家有一定的参考意义。 最后，会提一些我们在应用 Kafka Connect 框架时，遇到的一些现实的工程问题，以及应对方法。尽管大家的场景、环境和数据量级不同，但也有可能会遇到这些问题。希望对大家的工作有所帮助。 一、批流一体架构 批和流是数据融合的两种应用形态 下图来自 Flink 官网。传统的数据融合通常基于批模式。在批的模式下，我们会通过一些周期性运行的 ETL JOB，将数据从关系型数据库、文件存储向下游的目标数据库进行同步，中间可能有各种类型的转换。 另一种是 Data Pipeline 模式。与批模式相比相比， 其最核心的区别是将批量变为实时：输入的数据不再是周期性的去获取，而是源源不断的来自于数据库的日志、消息队列的消息。进而通过一个实时计算引擎，进行各种聚合运算，产生输出结果，并且写入下游。 现代的一些处理框架

原文引用 https://www.dazhuanlan.com/2019/08/25/5d625f4bb2308/ Apache Flink是一个分布式流计算引擎，开发者可以在其上快速实现流式计算。Apache Flink起源2009年在德国柏林理工大学成立的‘Stratosphere’项目。2014年4月成为Apache软件基金的一个孵化项目，8个月之后就成为Apache软件基金的顶级项目。如今有超过250个体向Flink贡献代码。流计算技术快速的被初创公司、企业所采纳，因为它在软件开发、系统架构、商业分析更有效果。本文主要分析传统数据处理架构和流梳理数据架构之间的差异，从而凸显出流计算的特性。 传统数据分析方法 传统IT设施、业务应用进程运行于不同的操作系统，数据落地于不同的数据库中，当做数据分析的时候无法满足复杂的分析，大表关联查询性能要么不支持、要么性能非常差。 替代传统数据库的分析方案是传统的数据仓库。数据仓库的操作过程我们叫他为ETL（extract-transform-load），这个过程包含数据有效性检验、数值标准化、编码、模式转化、重复值去除。ETL是一个非常复杂的一个过程，通常需要专业的技能才能完成这个工作。致命的一点是数据仓库中的数据是周期性更新的，为何是致命的一点后面将做详细讲解。以下是ETL的架构图： 这种模式在很长一段时间里

/*--> */ /*--> */ IO流的高级应用: BufferedReader: 从字符输入流中读取文本，缓冲各个字符，从而实现字符、数组和行的高效读取, 可以指定缓冲区的大小，或者可使用默认的大小。大多数情况下，默认值就足够大了,默认缓冲的大小是8K,如果默认缓冲区的大小不足以满足需求时可以自定义缓冲的大小。 public static void main(String[] args) throws IOException { Reader reader=new FileReader("D:\\hello.txt"); BufferedReader br=new BufferedReader(reader); String line=null; while((line=br.readLine())!=null) { System.out.println(line); } reader.close(); br.close(); } BufferedWriter: BufferedWriter: 将文本写入字符输出流，缓冲各个字符，从而提供单个字符、数组和字符串的高效写入。 可以指定缓冲区的大小，或者接受默认的大小。在大多数情况下，默认值就足够大了。 public class Demo2 { public static void main(String[] args)