Apache Flink

更新内容和时间表 大数据基础篇 Part0：Java基础篇 Part1：Java高级篇 Part2：Java之JVM篇 Part3：NIO和Netty篇 Part4：分布式理论篇 框架篇 Part5：Hadoop之MapReduce Part6：Hadoop之HDFS Part7：Hadoop之Yarn Part8：Hadoop之Zookeeper Part9：Hadoop之Hive Part10：Hadoop之Hbase Part11：Hadoop之Kafka Part12：Hadoop之其他消息队列 Part13：Hadoop之Spark Part14：Hadoop之Flink 算法篇 大数据算法面试题 目前已经有面试系列 总纲 大数据方向学习面试知识图谱 Flink Flink面试题通关手册 全网第一 | Flink学习面试灵魂40问答案 Spark 独孤九剑-Spark面试80连击(上) 独孤九剑-Spark面试80连击(下) 企业面试题 如果你在准备面试，好好看看这130道题 面试题总结PDF版 可以关注公众号，回复【JAVAPDF】，领取这份面试题PDF版本！ 欢迎关注， 《大数据成神之路》 系列文章 欢迎关注， 《大数据成神之路》 系列文章 欢迎关注， 《大数据成神之路》 系列文章 来源： oschina 链接： https://my.oschina.net

简介： 本篇将重点介绍Hologres在阿里巴巴网络监控部门成功替换Druid的最佳实践，并助力双11实时网络监控大盘毫秒级响应。 概要：刚刚结束的2020天猫双11中，MaxCompute交互式分析（下称Hologres）+实时计算Flink搭建的云原生实时数仓首次在核心数据场景落地，为大数据平台创下一项新纪录。借此之际，我们将陆续推出云原生实时数仓双11实战系列内容，本篇将重点介绍Hologres在阿里巴巴网络监控部门成功替换Druid的最佳实践，并助力双11实时网络监控大盘毫秒级响应。 3... 2... 1... 00:00:00 。购物车，结算，提交订单，付款 00:01:00...。滴，您的支付宝消费xxx万元。 亿万人同时参与的千亿级项目，破记录的峰值58万笔/秒，剁手党们在整个交易过程中如丝般顺滑，好像参加了一个假的双11，而这一切的背后都离不开阿里巴巴网络能力的强大支持。随着技术的发展，尤其是近年来云和电商业务的愈发兴盛，基础网络也变得越来越庞大和复杂，如何保障这张膨胀网络的稳定性，提供云上用户畅通无阻的购物体验，对网络系统建设者和运维者说更是极大的考验。 理论上来说，故障不可避免，但是如果能够做到快速发现，定位，修复甚至预防故障，缩短故障时长，即可让用户轻微或无感是稳定性追求的终极目标。2015年的微软提出了pingmesh，成为业界事实的解决方案

【这是一猿小讲的第 56 篇原创分享】 这期的分享是监控实战，其实不想写这篇的，因为网上相关的文章也挺多的，但是出于光说不练都是假把式，而且也想告诉你：当帅气的普罗米修斯（ Prometheus ）遇到高颜值的格拉法纳（ Grafana ）究竟会擦出什么样的火花？所以忍不住还是想分享啊。 为了实战，我们再次请出架构图，请注意图中红色圈 1 的部分，主要分两条线去实战。 第一条战线：Prometheus 如何监控机器？ 采用标准的PGOne技术组件 Prometheus Server + Grafana + node_exporter 完成对机器的性能监控。 第二条战线：Prometheus 如何监控 flink？ 采用技术组件 client lib（flink-metrics-prometheus_x.jar） + PushGateway + Prometheus Server + Grafana 完成对 flink 的监控。 1. Prometheus 如何监控机器？ 工欲善其事必先利其器，先下载相关组件包。prometheus 提供了两种下载方式，第一种是二进制压缩包的方式，第二种是 docker 镜像的方式。 #方式1：二进制压缩包下载链接 https: //prometheus.io/download/ #方式2：docker镜像链接 https: //hub.docker

面试，一个令人大多数同学头疼的问题，要么成功进入心仪公司，要么沮丧与其失之交臂。但是，如果能在面试前就能知道面试官将会问的问题，然后可以好好提前准备，这种感觉是不是特别棒？ 之前社区帮大家汇总了目前 15 家重量级公司的招聘需求更新在社区招聘帖，也收到了很多同学的反馈： “投了一堆简历，但是都没面试机会” “面试官说是想招高阶人才” “哎，感觉像我这种毕业年限短， 公司又是小公司，本科也不太好的，找工作太难了” 最后只能总结： “ 我不优秀，我连面试机会都没有 ” 也太南南南了！ 那么究竟怎么积累技术实力，成为 Flink 高级开发，拿下心仪公司的 offer 呢？小松鼠征集了 Flink 用人主管的核心诉求并提供一份超级 清晰 、实用的学习路径。虽然我们都不会读心术，但破解面试难题也有思路可寻！ Tips： 2020 Flink 最新招聘信息查看请见下方链接，内推或有招聘需求的公司可联系小松鼠（微信ID:Ververica2019）投递 JD～ 2020 最新 Flink 招聘岗位汇总： https://juejin.im/post/5df9e25fe51d4557f5450274 了解用人主管的需求 在收集招聘信息时小松鼠了解到用人主管的核心需求以及面试了部分同学之后的感受，总结下来主要分为以下方面： 经验都偏少，缺乏 复杂场景的历练 在用 Flink 做数据开发，但没有 底层

实时机器学习正得到越来越广泛的应用和部署。近日，计算机科学家和 AI 领域科技作家 Chip Huyen 在其博客中总结了实时机器学习的概念及其应用现状，并对比了实时机器学习在中美两国的不同发展现状。 选自 http:// huyenchip.com ，作者：Chip Huyen，机器之心编译，编辑：Panda。 与美国、欧洲和中国一些大型互联网公司的机器学习和基础设施工程师聊过之后，我发现这些公司可以分为两大类。一类公司重视实时机器学习的基础设施投资（数亿美元），并且已经看到了投资回报。另一类公司则还在考虑实时机器学习是否有价值。 对于实时机器学习的含义，现在似乎还没有明确的共识，而且也还没有人深入探讨过产业界该如何做实时机器学习。我与数十家在做实时机器学习的公司聊过之后，总结整理了这篇文章。 本文将实时机器学习分为两个层级： 层级 1：机器学习系统能实时给出预测结果（在线预测） 层级 2：机器学习系统能实时整合新数据并更新模型（在线学习） 本文中的「模型」指机器学习模型，「系统」指围绕模型的基础设施，包括数据管道和监测系统。 层级 1：在线预测 这里「实时」的定义是指毫秒到秒级。 用例 延迟很重要，对于面向用户的应用而言尤其重要。2009 年，谷歌的实验表明：如果将网络搜索的延迟从 100 ms 延长至 400 ms，则平均每用户的日搜索量会降低 0.2%-0.6%。2019

将DataSet中的数据Sink到哪里去。使用的是对应的OutPutFormat，也可以使用自定义的sink，有可能写到hbase中，hdfs中。 writeAsText() / TextOutputFormat ，以String的形式写入 writeAsCsv(...) / CsvOutputFormat，以CSV的方式写进去 print() / printToErr() / print(String msg) / printToErr(String msg)以标准输出 writeAsText object DataSetSinkApp { def main(args: Array[String]): Unit = { val environment = ExecutionEnvironment.getExecutionEnvironment val data = 1.to(10) val text = environment.fromCollection(data) val filePath = "E:/test" text.writeAsText(filePath) environment.execute("DataSetSinkApp") } } 如果E:/test文件或者文件夹存在，将无法执行成功。除非增加一个WriteMode.OVERWRITE text

【12月新发布功能】 1、MaxCompute 查询编辑器支持查询加速提升数据分析能力 MaxCompute 数据分析支持查询加速，当分析师通过SQL查询数据时，速度可提升至秒级，为数据分析师提供更优的数据分析体验。 适用客户及场景 数据分析师，尤其适用于数据分析师对离线数仓的数据进行取数，再通过Excel进行二次分析的场景。 发布功能 MaxCompute 数据分析查询模式支持 MaxCompute 查询加速，对于中、小数据量查询作业将执行时间从分钟级缩减至秒级。 通过 MaxCompute 查询编辑器发起查询 SQL 会优先通过查询加速进行查询，若满足则秒级返回结果，若不满足查询加速条件，则会回退离线查询，保障查询作业正常执行。 结合查询编辑器丰富的web-excel分析功能，数据分析师可通过MaxCompute数据分析快速的进行一站式数据查询、结果二次分析及结果分享。 MaxCompute查询加速功能当前支持按量计费资源，若您的项目使用包年包月资源，暂时还无法满足查询加速。 查看文档 >> 2、MaxCompute 流式数据写入服务（Streaming Tunnel）公测发布 MaxCompute Streaming Tunnel 服务，支持 API 方式实现流式数据无感知高 QPS 写入 MaxCompute。 适用客户 有实时计算Flink、数据通道DataHub

一 概述 ADC（Alibaba DChain Data Converger）项目的主要目的是做一套工具，用户在前端简单配置下指标后，就能在系统自动生成的大宽表里面查询到他所需要的实时数据，数据源支持跨库并支持多种目标介质。说的更高层次一点， 数据的全局实时可视化这个事情本身就是解决供应链数据“神龙效应”的有效措施（参考施云老师的《供应链架构师》[1]一书）。做ADC也是为了这个目标，整个ADC系统架构如下图所示： 架构解析： 初始数据来自于元数据中心。 经过元数据适配层后转换为内部格式数据。 调度中心把内部格式的数据传到计划中心，计划中心分析数据需求并建模，通过SQL生成器生成资源和SQL，分别通过告警中心、对账中心设定监控标准和对账标准。 对账中心定时对账，查看数据的对齐情况。 告警中心可以针对任务错误、延迟高等情况发送报警。 资源的生命周期管控在资源管理中心下，view删除时资源管理中心负责回收资源。 基础资源适配层主要借助集团基础资源管理能力串联阿里各类数据服务， 比如阿里云MaxComputer、Flink、阿里云AnalyticDB等。 其中，SQL生成器的上游和下游主要涉及： 上游计划中心 配置指标：用户在前端配置他想看的数据有哪些。 生产原始数据：根据用户输入得到哪些表作为数据源， 以及它们之间的连接关系。 下游Metric适配器 把SQL发布到Flink，

摘要：本文由阿里巴巴高级产品专家陈守元老师分享，详细讲解实时计算 Flink 的具体业务场景并分享实时计算 Flink 的相关应用案例。 内容分为以下四部分： 技术原理 技术应用 应用场景 行业案例 1、技术原理 关于技术原理这部分的介绍，下文主要从通晓原理、容易混淆的四大概念、批处理和流处理的对比、事件触发的流处理四个方面展开介绍。 通晓原理举一反三 从上图所示的关于实时计算 Flink 业务架构图中可以发现，平时在做业务开发或是架构设计的时候，开发人员需要通晓产品背后的技术原理，只有这样做开发的过程中才能避免非必要的失误，从而提高数据开发的效率。对于很多架构师来讲，只有通晓了技术背后的原理，才能养成全局的架构嗅觉。 容易混淆的四大概念 下图所示的数据处理时效性的四大概念是从不同维度描述的，分别代表计算的不同特征，它们分别是：实时计算、离线计算、流计算（或称流处理）和批处理。这四个概念其实是从两个维度来描述的，横坐标轴上面的计算和下面的处理，指代的是业务的特征。 实时计算它描述快速的计算过程和快速的请求响应。实时计算描述的是计算链路的表达，是实时业务实时计算的需求特征。离线计算强调的是它的离线特征，即非实时的，非实时的计算过程和非实时的请求响应。业务特征是，不求特快，只求结果。 所以横向坐标轴上面描述的本质都是业务处理需求，而坐标轴下面描述的是技术需求。 流计算（流处理

DDoS 攻击是网络攻击最常用的方式之一，也是企业发展道路上的阻碍。作为业务发展的巨大隐形“地雷”，企业想要自建 DDoS 防御的技术门槛很高，且建设周期不可控。这给予了安全厂商海量的市场机会，但是在琳琅满目的产品市场中，厂商需要如何快速占领市场，获得客户？知己知彼的需求理解可以打开行业赛道，非常夯实的产品性能可以让自己在赛道上奔跑起来，而如何在弯道上超车则需要更创新的技术产品，以及顺势而为的洞悉布局。 2018，一起 Memcached 反射放大攻击的流量峰值达到了 1.7Tbps，当时很多安全媒体用了核弹级这个词汇，影响程度已经令人咋舌。然而，今年，DDoS 攻击流量峰值再创新高。 DDoS攻击现状 智能技术开启了人类社会发展的崭新一页，生活方式迎来翻天覆地的便捷革命的同时，网络威胁者也露出了更加猖獗的笑容，典型的趋势之一则是：DDoS 攻击的流量峰值从 G 时代正式跨入了 T 时代。 Neustar 公司安全运营中心(SOC)表示，在今年 2月记录了对 Amazon Web Services 客户端的 2.3Tbps 攻击，这是有记录以来最大的体积 DDoS 攻击，持续了五天零十八小时。该事件宣告着 2Tb 级攻击时代正式来临，巨大的破坏力再一次引起人们的注意。 尽管，Tb 级别的 DDoS 攻击事件比较罕见，但令人担忧的是其他流量级别的 DDoS 攻击已经成为一种“常态”。