Streams

一、定义 Apache Kafka 是一款开源的消息系统。可以在系统中起到“肖峰填谷”的作用，也可以用于异构、分布式系统中海量数据的异步化处理。 系统包括四个主要API: Producer API 允许一个应用推送流记录通过一个或多个Kafka topics ； Consumer API 允许一个应用订阅一个或多个topics 并且处理这些流记录； Streams API 允许一个应用作为一个流处理者，通过topics 输入或输出流数据 ； Connector API 绑定并运行 Producer 或 Consumer 连接Kafka topics 到 到已经存在的系统或存储上； 二、功能介绍 1) Topics and log Topic 是发布记录的类别或订阅源名称。Kafka 的topic 会关联用户；一个topic 可以有 0个或多个Consumer 订阅写入它的数据。 对于每个topic ，kafka 集群都会维护一个分区日志，如下图： 每个分区都是一个有序的， 不可变的记录序列， 不断附加到结构化的提交日志中。 分区中的记录每个都被分配一个称为偏移的顺序ID号，它唯一标识分区中的每条记录。 Kafka 集群可以持久的保存所有已发布的记录-无论它们是否被消费-可以易配置保留期限。 每个consumer 会保留消费者在日志中消费的偏移或位置

前言 随着大数据时代的到来，数据中蕴含的价值日益得到展现，仿佛一座待人挖掘的金矿， 引来无数的掘金者。但随着数据量越来越大，如何实时准确地收集并分析数据成为摆在所有从业人员面前的难题。 而这时，kafka的出现算是解决了这个问题。 Kafka的核心功能是什么？一言以蔽之，高性能的消息发送与高性能的消息消费。接下来咱们就进入kafka世界，深入实战探讨kafka实战开发。 Kafka实战 本书是涵盖ApacheKafka各方面的具有实践指导意义的工具书和参考书。作者结合典型的使用场景，对Katka 整个技术体系进行了较为全面的讲解，以便读者能够举一反三，直接应用于实践。同时，本书还对Kafka的设计原理及其流式处理组件进行了较深人的探讨，并给出了详实的案例。 本书适合所有对云计算、大数据处理感兴趣的技术人员阅读，尤其适合对消息引擎、流式处理技术及框架感兴趣的技术人员参考阅读。 第一章：初识Kafka 第1章全面介绍消息引擎系统以及Kafka的基本概念与特性，快速带领读者走进Kafka的世界； Kafka快速入门 消息引擎系统 Kafka概要设计 Kafka基本概念与术语 Kafka使用场景 本章小结 第二章：Kafka发展历史 第2章简要回顾了Apache Kafka 的发展历史；第3章详细介绍了Kafka集群环境的搭建； Kafka的历史 Kafka版本变迁 如何选择Kafka版本

Flink 系列博客 Flink QuickStart Flink双流操作 Flink on Yarn Kerberos的配置 Flink on Yarn部署和任务提交操作 Flink配置Prometheus监控 Flink in docker 部署 Flink HA 部署 Flink 常见调优参数总结 Flink 源码之任务提交流程分析 Flink 源码之基本算子 Flink 源码之Trigger Flink 源码之Evictor 简介 Flink 双数据流转换为单数据流操作的运算有 cogroup , join 和 coflatmap 。下面为大家对比介绍下这3个运算的功能和用法。 Join ：只输出条件匹配的元素对。 CoGroup : 除了输出匹配的元素对以外，未能匹配的元素也会输出。 CoFlatMap ：没有匹配条件，不进行匹配，分别处理两个流的元素。在此基础上完全可以实现join和cogroup的功能，比他们使用上更加自由。 对于join和cogroup来说，代码结构大致如下： val stream1 = ... val stream2 = ... stream1.join(stream2) .where(_._1).equalTo(_._1) //join的条件stream1中的某个字段和stream2中的字段值相等 .window(...) // 指定window

本文配套教学视频： B站观看地址 在本号之前写过的一些文章中，笔者使用了lambda表达式语法，一些读者反映说代码看不懂。本以为java 13都已经出了，java 8中最重要特性lambda表达式大家应该都掌握了，实际上还是存在大量的程序员没有使用java8，还有的使用了java8也不会使用lambda表达式。 Lambda表达式是Java 8最流行最常用的功能特性。它将函数式编程概念引入Java，函数式编程的好处在于可以帮助我们节省大量的代码，非常方便易用，能够大幅度的提高我们的编码效率。在本文中，我们将介绍lambda表达式是什么，并将传统的java代码写法转换为lambda表达式写法，大家可以通过示例了解lambda表达式都对传统代码做了哪些简化。 本文配套教学视频： B站观看地址 一、接口定义 首先，我们要明白lambda表达式在表达什么？答案就是lambda表达式表达接口函数的实现，所以我们有必要做一下准备工作。在传统的开发方式下，我们不习惯将代码块传递给函数。我们所有的行为定义代码都封装在方法体内，并通过对象引用执行，就像使用下面的代码一样： public class LambdaDemo { //函数定义 public void printSomething(String something) { System.out.println(something); } /

一 OpenShift特性 1.1 OpenShift概述 Red Hat OpenShijft Container Platform (OpenShift)是一个容器应用程序平台，它为开发人员和IT组织提供了一个云应用程序平台，用于在安全的、可伸缩的资源上部署新应用程序，而配置和管理开销最小。 OpenShift构建于Red Hat Enterprise Linux、Docker和Kubernetes之上，为当今的企业级应用程序提供了一个安全且可伸缩的多租户操作系统，同时还提供了集成的应用程序运行时和库。 OpenShift带来了健壮、灵活和可伸缩的特性。容器平台到客户数据中心，使组织能够实现满足安全性、隐私性、遵从性和治理需求的平台。不愿意管理自己的OpenShift集群的客户可以使用Red Hat提供的公共云平台OpenShift Online。 1.2 OpenShift特性 OpenShift容器平台和OpenShift Online都是基于OpenShift Origin开源软件项目的，该项目本身使用了许多其他开源项目，如Docker和Kubernetes。 应用程序作为容器运行，容器是单个操作系统内的隔离分区。容器提供了许多与虚拟机相同的好处，比如安全性、存储和网络隔离，同时需要的硬件资源要少得多，启动和终止也更快

Java并没有衰落.大家对它的认识才刚刚开始 很高兴能在此给大家分享Java8的新特性。这篇文章将一步一步带你了解Java8的所有新特性。我将通过简单的实例代码向大家展示接口中默认方法，lambda 表达式,方法引用,重复注解的使用. 看过这篇文章之后你将了解流、函数、接口、map扩展、日期中的新变化.不废话，放码过来! Default Methods for Interfaces(接口中的默认方法) Java 8准许我们在接口中增加一个通过default关键字修饰的非抽象的方法. 这个特性被我们称为扩展方法. 下面举例说明: interface Formula { double calculate(int a); default double sqrt(int a) { return Math.sqrt(a); } } 接口Formula 中除了抽象方法calculate 其中还定义了非抽象方法sqrt. 实现类里面继承了抽象方法calculate. 而默认方法可以直接调用. Formula formula = new Formula() { @Override public double calculate(int a) { return sqrt(a * 100); } }; formula.calculate(100); // 100.0 formula.sqrt(16);

【转】 http://www.freebuf.com/articles/web/152879.html 前言 在分析 shellcode 时，静态分析或者使用 scdbg 模拟分析都不够准确，如果转换成 exe 文件那么就可以用 debugger 或者 IDA 分析，会方便很多。 样本分析 这里以 CVE-2013-3346 的样本为例，使用 peepdf 分析样本: $ python peepdf.py -i -f ~/Downloads/sample.pdf File: sample.pdfMD5: 6776bda19a3a8ed4c2870c34279dbaa9SHA1: ad6a3564e125683a791ee98c5d1e66e1d9c6877dSize: 177511 bytesVersion: 1.1Binary: FalseLinearized: FalseEncrypted: FalseUpdates: 0Objects: 4Streams: 2Comments: 0Errors: 1Version 0:Catalog: 1Info: No Objects (4): [1, 2, 3, 10] Errors (1): [3] Streams (2): [10, 3] Encoded (0): [] Objects with JS code (1): [3]

from: https://blog.csdn.net/JIEJINQUANIL/article/details/50341765 1、 Vedio and Image Datasets Index 这个网址提供了大量的视频和图像的数据库下载索引，并有相应的介绍，强烈推荐！大家慢慢去找寻自己的惊喜吧 2、 CV Datasets on the web 这里主要有检测、分类、识别、追踪(tracking)、分割、显著性检测、视频监测……内容特别丰富，强烈推荐！ 3、 FIR Sequence. Pedestrian Dataset 里面又有好几种数据库可以下载：CVC Virtual Pedestrian Dataset、CVC-01Pedestrian Dataset、CVC-02 PedestrianDataset一直到09的都有。 4、 Penn-Fudan Database for Pedestrian Detection and Segmentation 用于行人检测的数据库，里面的图片都取材于校园和城市街区，每一幅图片至少有一个行人。 5、 Caltech Pedestrian Detection Benchmark The Caltech Pedestrian Dataset consists of approximately10 hours of 640x480

Java9 新特性 ,Java 模块化，Java 反应流 Reactive，Jigsaw 目录 模块系统 模块描述符 模块化应用程序示例 编译和执行 向后兼容 反应流 Flow类 内部实现 一个简单的应用 应用Processor API使用 总结 模块系统 Java平台模块系统（JPMS）是Java9中的特性，它是Jigsaw项目的产物。简而言之，它以更简单和易于维护的方式来组织包和类型。 直到Java8，系统仍面临与类型系统相关的两个问题： 1.所有的组件（大多是Jar包）都处在classpath中，没有任何的显式依赖申明。诸如Maven之类的构建工具可以在开发过程中帮助组织这些构件。然而，在运行时却没有这样的支持工具。你最终可能会遇到calsspath中缺少某个类，或者更严重的是存在同个类的两个版本，向这样的错误很难诊断。 2.在API级别上不支持封装。所有的public的类在整个应用中都可以访问，经管事实上这些类只是想供一部分其他类调用。另一方面，私有的类和私有的成员也不是私有的，因为你可以使用反射来绕过访问限制。 这些就是Java 模块系统要应对的地方。Oralce的Java平台首席架构师Mark Reinhold描述了Java模块系统的目标： 1.可靠的配置 - 用程序组件相互声明显式依赖的方法替换脆弱，容易出错的类路径机制。 2.强大的封装 -

Java并没有衰落.大家对它的认识才刚刚开始 很高兴能在此给大家分享Java8的新特性。这篇文章将一步一步带你了解Java8的所有新特性。我将通过简单的实例代码向大家展示接口中默认方法，lambda 表达式,方法引用,重复注解的使用. 看过这篇文章之后你将了解流、函数、接口、map扩展、日期中的新变化.不废话，放码过来! Default Methods for Interfaces(接口中的默认方法) Java 8准许我们在接口中增加一个通过default关键字修饰的非抽象的方法. 这个特性被我们称为扩展方法. 下面举例说明: interface Formula { double calculate(int a); default double sqrt(int a) { return Math.sqrt(a); } } 接口Formula 中除了抽象方法calculate 其中还定义了非抽象方法sqrt. 实现类里面继承了抽象方法calculate. 而默认方法可以直接调用. Formula formula = new Formula() { @Override public double calculate(int a) { return sqrt(a * 100); } }; formula.calculate(100); // 100.0 formula.sqrt(16);