HDFS

作者徐蓓，腾讯云容器专家工程师，10年研发经验，7年云计算领域经验。负责腾讯云 TKE 大数据云原生、离在线混部、Serverless 架构与研发。 背景 大数据发展至今，按照 Google 2003年发布的《The Google File System》第一篇论文算起，已走过17个年头。可惜的是 Google 当时并没有开源其技术，“仅仅”是发表了三篇技术论文。所以回头看，只能算是揭开了大数据时代的帷幕。随着 Hadoop 的诞生，大数据进入了高速发展的时代，大数据的红利及商业价值也不断被释放。现今大数据存储和处理需求越来越多样化，在后 Hadoop 时代，如何构建一个统一的数据湖存储，并在其上进行多种形式的数据分析，成了企业构建大数据生态的一个重要方向。怎样快速、一致、原子性地在数据湖存储上构建起 Data Pipeline，成了亟待解决的问题。并且伴随云原生时代到来，云原生天生具有的自动化部署和交付能力也正催化这一过程。本文就主要介绍如何利用 Iceberg [1] 与 Kubernetes 打造新一代云原生数据湖。 何为 Iceberg Apache Iceberg is an open table format for huge analytic datasets. Iceberg adds tables to Presto and Spark that use a

作者徐蓓，腾讯云容器专家工程师，10年研发经验，7年云计算领域经验。负责腾讯云 TKE 大数据云原生、离在线混部、Serverless 架构与研发。 背景 大数据发展至今，按照 Google 2003年发布的《The Google File System》第一篇论文算起，已走过17个年头。可惜的是 Google 当时并没有开源其技术，“仅仅”是发表了三篇技术论文。所以回头看，只能算是揭开了大数据时代的帷幕。随着 Hadoop 的诞生，大数据进入了高速发展的时代，大数据的红利及商业价值也不断被释放。现今大数据存储和处理需求越来越多样化，在后 Hadoop 时代，如何构建一个统一的数据湖存储，并在其上进行多种形式的数据分析，成了企业构建大数据生态的一个重要方向。怎样快速、一致、原子性地在数据湖存储上构建起 Data Pipeline，成了亟待解决的问题。并且伴随云原生时代到来，云原生天生具有的自动化部署和交付能力也正催化这一过程。本文就主要介绍如何利用 Iceberg [1] 与 Kubernetes 打造新一代云原生数据湖。 何为 Iceberg Apache Iceberg is an open table format for huge analytic datasets. Iceberg adds tables to Presto and Spark that use a

1 多租户概念 多租户技术( Multi Tenancy Technology )又称多重租赁技术，用于实现如何在多用户的环境下共用相同的系统或程序组件，并且仍可确保各用户间数据的隔离性。 具体的多租户技术有多种，数据库通常有以下三种： 1.1 独立数据库 这是第一种方案，即一个租户一个数据库。这种方案的用户数据隔离级别最高、安全性最好，但成本也高。 优点:为不同的租户提供独立的数据库，有助于简化数据模型的扩展设计，满足不同租户的独特需求;如果出现故障，则恢复数据比较简单。 缺点:增大了数据库的安装数量，随之带来维护成本和购置成本的增加。这种方案与传统的一个客户、一套数据、一套部署类似，差别只在于软件统一部署在运营商那里。如果面对的是银行、医院等要求数据隔离级别非常高的租户，则可以选择这种模式，提高租用的定价。如果定价较低，产品走低价路线，那么这种方案对运营商来说是无法承受的。 1.2 共享数据库，隔离数据架构 这是第二种方案，即多个或所有租户共享Database,但一个Tenant一个Schema。 优点:为安全性要求较高的租户提供了一定程度的逻辑数据隔离，但并不是完全隔离；每个数据库可以支持更多的租户数量。 缺点；如果出现故障，则数据恢复比较困难，因为恢复数据库将涉及其他租户的数据；如果需要跨租户统计数据，则存在一定的困难。 1.3 共享数据库，共享数据架构 这是第三种方案

日志的处理机制 1 golang日志库可以考虑 tmlog https://github.com/heiyeluren/go-tmlog --黑夜路人@北京 2 老谢，你这个是异步库，一旦log gr 出问题不就坑爹了 可以考虑加上阻塞方式的，效率低点，但是安全 log库不必也没必要追求效率 --于雨@北京 3 行啊，回头再考虑实时写入临时日志 --黑夜路人 @北京 4 一般的逻辑处理，瓶颈不可能在log上，务求不丢不乱就行了 --于雨@北京 5 前阵子看过一篇文章，一个老外做的分析，系统性能消耗有不少的部分浪费在同步log上 --郭军@360 6 主要是磁盘io慢啊慢 --黑夜路人 @北京 9 确实，我们client的log都出于效率原因从同步实时改成异步分批写入了 --类库@上海-意励 8 log太多了吧，会对io造成压力 --kyle@成都-风际游戏 9 异步的本质都是为了不阻塞当前执行协程 --黑夜路人 @北京 10 瓶颈还真有可能在log上 --Xargin@北京-didi 11 可以开启raid卡wb，对比下，如果差异巨大，可能是log导致的 --谭俊青@途牛 12 去年写proxy 日志info级别性能下降蛮多的 还是要少打日志的。业务对性能要求不苛刻就无所谓了 --董泽润@北京-nice 13 不要用文本日志，改成二进制代号 --kingsword@广州-kg 14

一、启动相关组件之前 一般安装完hadoop之后需要格式化一遍hdfs： hdfs namenode -format 然后再进行其他组件的启动，hadoop相关组件都是用位于...hadoop/sbin目录下的脚本启动的， 二、启动组件 一般启动相关的就可以了： # 开启hdfs start -dfs. sh # 开启yarn start -yarn. sh 然后查看进程都开起来了没有，正常是： [root@harry etc]# jps 6531 NodeManager 6264 SecondaryNameNode 6077 DataNode 6670 Jps 5983 NameNode 三、关闭服务 stop-all. sh 来源： oschina 链接： https://my.oschina.net/u/4403012/blog/4000886

一、SparkCore、SparkSQL和SparkStreaming的类似之处 二、SparkStreaming的运行流程 2.1　图解说明 2.2　文字解说 1、我们在集群中的其中一台机器上提交我们的Application Jar，然后就会产生一个Application，开启一个Driver，然后初始化SparkStreaming的程序入口StreamingContext； 2、Master会为这个Application的运行分配资源，在集群中的一台或者多台Worker上面开启Excuter，executer会向Driver注册； 3、Driver服务器会发送多个receiver给开启的excuter，（receiver是一个接收器，是用来接收消息的，在excuter里面运行的时候，其实就相当于一个task任务） 4、receiver接收到数据后，每隔200ms就生成一个block块，就是一个rdd的分区，然后这些block块就存储在executer里面，block块的存储级别是Memory_And_Disk_2； 5、receiver产生了这些block块后会把这些block块的信息发送给StreamingContext； 6、StreamingContext接收到这些数据后，会根据一定的规则将这些产生的block块定义成一个rdd； 三

前言 在早期Hadoop刚出来的时候是没有解决HDFS单点问题的，这就意味着当NameNode的服务器宕机了就会导致整个集群瘫痪，这是非常危险的于是在Hadoop不断的更新下提出了Hadoop HA来解决NameNode单点问题，接下来我们就来聊一聊。 解决HDFS单点问题解决方案 解决HDFS点单问题其实可以部署两个NameNode，但是真正对外服务只有一个，部署两个NameNode那他们之间的元数据信息是不是需要共享元数据信息呀，不然当其中一个NameNode挂掉了元数据信息没有同步不就会有问题。 根据appche提出的解决方案目前有三种解决方案如下 方案一、目录共享 目录共享是在appche社区中提出但是现在没有引用，目录共享也是一个单点问题，如果当目录共享挂掉了是不是也会导致HDFS挂掉。所以就被一些企业抛弃了。 方案二、使用JournalNode方案 我们使用JN来保存元数据信息就不会造成单点问题，JN也是一个集群，我们一般部署JN一般会选择基数例如3,5,7,9等。JN有一个政策只要存活的节点大于 二分之一 就是一个正常的服务。 注意： 我们不要为了解决NameNode的单点问题选择的的组件也是单点问题，这个根本还是没有解决。 JN中的信息都是一样的，那为什么也是其中的一个NameNode就是写数据其中一个就是读取数据那？ 其实NameNode也是有角色之分的写的为