Flink学习札记1——2020.2.25新一代大数据计算引擎 Flink从入门到实战

这一生的挚爱 提交于 2020-02-26 13:46:53

#Flink开发批处理应用程序
需求:词频统计(word count)
文件,统计文件中每个单词出现的次数分隔符是\t统计结果我们直接打印在控制台(生产上肯定是Sink到目的地)
实现
Flink,+ Java
Flink + Scala
##环境准备:
### JDK:
下载地址:https://www.oracle.com/technetwork/java/javase/
Mac:dmg
Linux:tar.gz
indows:exe
###Maven
官网:maven.apache.org
下载地址:https://archive.apache.org/dist/maven/maven-3/3
Linux/Mac/Windows:解压
tar-zxvf apache-maven-3.3.9-bin.tar.qz ~C/app
##开发流程/开发八股文编程
1)set up the batch execution environment
2)read
3)transform operations 开发的核心所在:开发业务逻辑
4)execute program
##功能拆解
1)读取数据
hello welcome
2)每一行的数据按照指定的分隔符拆分hello welcome
3)为每一个单词赋上次数为1
(hetlo,1)
(welcome,1)
4)合并操作

创建项目
mvn archetype:generate
-DarchetypeGroupId=org.apache.flink
-DarchetypeArtifactId=flink-quickstart-java
-DarchetypeVersion=1.10.0
-DarchetypeCatalog=local
#启动一个端口:
nc -lk 端口号

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!