Apache HBase

一、scan命令查询 参考： Hbase shell scan命令解析 来源： oschina 链接： https://my.oschina.net/weiweiblog/blog/3270355

【推荐阅读】微服务还能火多久？>>> 阿里云智能数据库事业部 OLAP 平台团队现向 2021 届海内外院校应届毕业生（毕业时间在2020年11月-2021年10月之间）招聘大数据系统工程师，有机会转正，有意请加 iteblog 微信内推。 文章目录 1 儒略历（Julian calendar） 2 格里历（Gregorian calendar） 2.1 格里历日期与儒略历日期的差距 3 外推格里历（Proleptic Gregorian calendar） 4 和编程的关系 儒略历（Julian calendar） 儒略历，是格里历（Gregorian calendar）的前身，由罗马共和国独裁官儒略·凯撒采纳埃及亚历山大的希腊数学家兼天文学家索西琴尼计算的历法，在公元前45年1月1日起执行，取代旧罗马历历法的历法。一年设12个月，大小月交替，四年一闰，平年365日，闰年于二月底增加一闰日，年平均长度为365.25日。因为1月1日是罗马执政官上任的日期，故其被订为一年的开始日。由于累积误差随着时间越来越大，1582年后由教宗额我略十三世改良，变为格里历，即沿用至今的公历。 如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号： iteblog_hadoop 格里历（Gregorian calendar） 格里历是由意大利医生兼哲学家阿洛伊修斯

【推荐阅读】微服务还能火多久？>>> 前言： 工欲善其事必先利其器，今天给大家介绍一下HBase Shell十大花式利器，在日常运维工作中，可以试着用起来。 1. 交互模式 也就是我们最常用到的Shell命令行的方式。 $ hbase shell hbase(main):001:0> list 2. 非交互模式 $ echo "describe 'test1'" | hbase shell -n # 结果输出到文件 $ echo "describe 'test1'" | hbase shell -n > tmp.log # 不打印输出结果 $ echo "describe 'test'" | hbase shell -n > /dev/null 2>&1 与交互模式比较 如果我们想要知道HBase Shell命令执行之后是否成功，那一定要使用非交互模式。因为交互模式执行命令后总是返回0。当执行命令失败后，非交互模式将返回非0数值。如下示例： $ echo "error cmd" | hbase shell > /dev/null 2>&1 $ echo $? 0 $ echo "error cmd" | hbase shell -n > /dev/null 2>&1 $ echo $? 1 3. 使用Ruby脚本 $ hbase org.jruby.Main PATH_TO

【推荐阅读】微服务还能火多久？>>> 前言： 工欲善其事必先利其器，今天给大家介绍一下HBase Shell十大花式利器，在日常运维工作中，可以试着用起来。 1. 交互模式 也就是我们最常用到的Shell命令行的方式。 $ hbase shell hbase(main):001:0> list 2. 非交互模式 $ echo "describe 'test1'" | hbase shell -n # 结果输出到文件 $ echo "describe 'test1'" | hbase shell -n > tmp.log # 不打印输出结果 $ echo "describe 'test'" | hbase shell -n > /dev/null 2>&1 与交互模式比较 如果我们想要知道HBase Shell命令执行之后是否成功，那一定要使用非交互模式。因为交互模式执行命令后总是返回0。当执行命令失败后，非交互模式将返回非0数值。如下示例： $ echo "error cmd" | hbase shell > /dev/null 2>&1 $ echo $? 0 $ echo "error cmd" | hbase shell -n > /dev/null 2>&1 $ echo $? 1 3. 使用Ruby脚本 $ hbase org.jruby.Main PATH_TO

【推荐阅读】微服务还能火多久？>>> 如果你参加过一些大厂面试，肯定会遇到一些开放性的问题： 1、写一段程序，让其运行时的表现为触发了5次Young GC、3次Full GC、然后3次Young GC； 2、如果一个Java进程突然消失了，你会怎么去排查这种问题？ 3、给了一段Spring加载Bean的代码片段，阐述一下具体的执行流程？ 是不是看上去很难，是不是和自己准备的“题库”中的问题不一样？不知道从何处下手？如果你有这种感觉，那么说明你的技术还需要继续修炼。 是不是看上去很难，是不是和自己准备的“题库”中的问题不一样？不知道从何处下手？如果你有这种感觉，那么说明你的技术还需要继续修炼，篇幅原因，没展示完，关注末尾 面对如此多的技术面试，怎么样才能说自己的技术已经过关了呢？ 一、开场白 简单的介绍一下自己的工作经历与职责，在校或者工作中主要的工作内容，主要负责的内容；（你的信息一清二白的写在简历上，这个主要为了缓解面试者的压力） 介绍下自己最满意的，有技术亮点的项目或平台，重点介绍下自己负责那部分的技术细节；（主要考察应聘者对自己做过的事情是否有清晰的描述，判断做的事情的复杂度） 二、Java多线程 线程池的原理，为什么要创建线程池？创建线程池的方式； 线程的生命周期，什么时候会出现僵死进程； 说说线程安全问题，什么实现线程安全，如何实现线程安全； 创建线程池有哪几个核心参数？

【推荐阅读】微服务还能火多久？>>> 本文来自一个8年大数据老兵的面试经历投稿，我完完整整的看了一遍，真的很细很细，疫情期间面试各种失败各种总结，最后拿到Offer实属不易，精神很值得大家学习 前言 我不是什么大牛，我只是一个有八年工作经验的互联网老兵，既没有非常亮眼的学历，也没有牛逼大厂的履历。 这个冬天，在孩子得病从急诊转住院的时候，我得到了年前将被优化的消息，作为家里唯一经济来源的我整个人蒙了，一时间茫然和无助差点毁了我。 最后我还是和家人如实说了，受到了他们的极大的鼓励，也找到了重新开始的勇气。 可惜这场疫情来的如此凶猛，职位少、要求高、电话面试、视频面试、在线coding、屡战屡败、屡败屡战，构成了我这两个月的常规生活。 我一开始也焦虑、茫然，甚至对自己的能力和工作经验深深怀疑。 后来经过几个好朋友的鼓励打气，也看了敖丙的很多面试文章，认真总结自己面试中不足的地方，查漏补缺，终于在这周确定了offer。（这是原话，我真没瞎加哈哈） 接下来我就我之前面过的腾讯、高德、京东、美团、饿了么、快手、字节跳动、滴滴、360金融、跟谁学、网联清算、华晨宝马、快看漫画、陌陌、脉脉等等等公司的面试题做一下总结，权当抛砖引玉，希望对大家有帮忙。 面试问题汇总 基础问题 linux和网络基础 （1）linux系统内核态和用户态是什么，有什么区别？ （2）BIO、NIO、AIO都是什么

【推荐阅读】微服务还能火多久？>>> 点赞 收藏 分享 文章举报 wwxy261 发布了1931 篇原创文章 · 获赞 189 · 访问量 44万+ 他的留言板 关注 来源： oschina 链接： https://my.oschina.net/u/4261498/blog/3236075

【推荐阅读】微服务还能火多久？>>> 概述 X-Engine是阿里自研的数据库存储引擎，以插件的方式接入到MySQL生态，支持行锁，事务，MVCC等OLTP场景的核心功能。 X-Engine的核心优势是低成本，高性价比，尤其适用于历史库场景，目前阿里巴巴内部的核心交易历史库(原来是Hbase)，钉钉消息历史库(原来是MySQL(InnoDB))，淘宝商家的图片空间等业务均通过X-Engine解决了成本问题。 同时，X-Engine也赋能阿里云数据库服务，作为云上RDS-MySQL的存储引擎，对外售卖，让更多的用户享受到新技术带来的红利，有关X-Engine的详细介绍，请移步2019年10月的数据库内核月报。本文主要介绍X-Engine引擎的一个核心功能， OnlineDDL 。 OnlineDDL毫无疑问是MySQL生态的一个重要的功能，想当初MySQL 5.6以前，DBA执行D 来源： oschina 链接： https://my.oschina.net/u/4370305/blog/3235534

目录 一.Hadoop 1.hdfs写流程 2.hdfs读流程 3.hdfs的体系结构 4.一个datanode 宕机,怎么一个流程恢复 5.hadoop 的 namenode 宕机,怎么解决 6.namenode对元数据的管理 7.元数据的checkpoint 8.yarn资源调度流程 9.hadoop中combiner和partition的作用 10.用mapreduce怎么处理数据倾斜问题？ 11.shuffle 阶段,你怎么理解的 12.Mapreduce 的 map 数量 和 reduce 数量 怎么确定 ,怎么配置 13.MapReduce优化经验 14.分别举例什么情况要使用 combiner，什么情况不使用？ 15.MR运行流程解析 16.简单描述一下HDFS的系统架构，怎么保证数据安全? 17.在通过客户端向hdfs中写数据的时候，如果某一台机器宕机了，会怎么处理 18.Hadoop优化有哪些方面 19.大量数据求topN(写出mapreduce的实现思路） 20.列出正常工作的hadoop集群中hadoop都分别启动哪些进程以及他们的作用 21.Hadoop总job和Tasks之间的区别是什么？ 22.Hadoop高可用 23.简要描述安装配置一个hadoop集群的步骤 24.fsimage和edit的区别 二.Hive 1.hive优化 2.Udf udaf

本次分享来自中国HBase技术社区第七届MeetUp成都站，分享嘉宾郑浩南 爱奇艺 资深研发工程师，专注于大数据领域，负责Hadoop服务的运维研究以及DevOps平台开发。 分享主题：HBase在爱奇艺的应用实践 内容概要：随着大数据存储计算对延时吞吐要求越来越高，需求日益复杂化，HBase在爱奇艺中被广泛应用和实践以应对多样化的业务场景。本次演讲将介绍HBase在爱奇艺的部署模式和使用场景，以及在爱奇艺私有云环境下的运维策略。 下载链接：http://hbase.group/slides/168 1.使用现状 概况 HBase版本 1.2.0-CDH5.14.4-qiyi-1 规模 物理机数量6000+，最大集群1500节点 数据总量约3PB（单备份），大表>100TB 离线QPS 50 Mil+，线上QPS 3 Mil+ 服务使用架构 私有云环境 大数据平台化服务 大数据产品栈 来源： oschina 链接： https://my.oschina.net/u/3611008/blog/2877196