impala

一、MPP 架构 1、MPP架构的基础概念 MPP (Massively Parallel Processing)，即大规模并行处理，在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供数据库服务。非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势。 简单来说，MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果(与Hadoop相似)。 MPP 属于Shared Nothing，根据Shared 的不同，可以分为如下几种： Shared Everthting:一般是针对单个主机，完全透明共享CPU/MEMORY/IO，并行处理能力是最差的，典型的代表SQLServer Shared Disk：各个处理单元使用自己的私有 CPU和Memory，共享磁盘系统。典型的代表Oracle Rac， 它是数据共享，可通过增加节点来提高并行处理的能力，扩展能力较好。其类似于SMP（对称多处理）模式，但是当存储器接口达到饱和的时候，增加节点并不能获得更高的性能 。 Shared Nothing：各个处理单元都有自己私有的CPU/内存/硬盘等，不存在共享资源，类似于MPP

1. 荒腔走板 最近一两个月生产K8s集群频繁出现短时503 Service Temporarily Unavailable，还不能主动复现，相当郁闷，压力山大。 HTTP 5xx响应状态码用于定义服务端错误。 500 Internal Server Error：所请求的服务器遇到意外的情况并阻止其执行请求，通常针对单个请求，整个站点有时还是提供服务。 502 Bad Gateway Error 暗示 连接链路 中某个服务器下线或者不可用； 503 Service Unavailable 意味着托管您的应用程序的实际Web服务器上存在问题。 2. 排查记录 基本上每隔2-3天出现一次，每次2-3分钟，此时整站503； 因为不能主动复现，8月26日排查相应时间段的EFK日志: impala连接问题 ，大数据运维同事排查到 webapp发起impala的请求与impala集群时钟未对齐 ，导致webapp impalaODBC Driver连不上impala集群； 进入k8s集群节点，确实部分节点的时钟对齐服务未启动，不定时出现比北京时间慢2,3分钟的情况，这个确实可以解释时间差导致的impala连接认证失败。 8月26日同步所有k8s节点的时钟，之后接近一周，并未出现问题； 9月3日又出现一次短时503无服务，EFK日志显示依旧是 impala连接问题

1 前言 今年来，深度强化学习工程师/研究员已经成为腾讯，网易，字节跳动，华为，阿里巴巴，快手等大厂及一些初创公司如启元世界，超参数重要的招聘岗位，主要面向游戏AI，推荐系统等方向的落地，这对深度强化学习的发展是极大的利好。 在这篇blog中我将以面试官的角度和大家分享一下深度强化学习工程师/研究员面试所需的必备技能，希望对感兴趣的同学有所帮助。 2 深度强化学习工程师/研究员做什么？ 以游戏AI为例，深度强化学习工程师/研究员当然是实现某一款游戏AI为目标，或者某一类游戏AI为目标。工程师（Research Engineer)比较强调工程实践能力，能够完成包括环境接口，算法，训练调优，模型部署等等工作，而研究员（Research Scientist) 比较强调理论深度，能够针对问题在理论层面提出解决方案，能够对最前沿的DRL相关问题进行研究创新，当然研究员的工程实践能力也是必不可少的。 2 面试考察的核心 首先先声明一下下面的标准是一个比较理想化的solid的社招标准，不是面向校招的标准。对于深度强化学习工程师/研究员，考察的核心包括以下三点： 对深度强化学习有足够的热情和信仰。 只有对一件事情有热情，才有可能真正做好一件事，并且愿意为了达成目标去做其中可能比较枯燥的dirty work。因此，这一条要求会排除掉一些对深度强化学习没有热情，仅仅是因为它比较火就进来的同学。

如何在CDH 6.3.2 启用Kerberos 中 使用sentry 限制用户读写 标签（空格分隔）： 大数据平台构建 一： 系统环境介绍 二： CDH6.3.2 启用安装sentry 三： sentry 使用 四：启用sentry测试 一： 系统环境介绍 操作系统 CentOS7.5x64 cdh/cm 版本 cm:6.3.1 cdh:6.3.2 采用root用户操作 前置条件: 1.CDH集群运行正常 2.集群已启用Kerberos且正常使用 ##二：CDH6.3.2 启用安装sentry 1.在MySQL中创建sentry数据库 # mysql -uroot -pflyfish225 mysql> create database sentry character set latin1; (这个地方必须是latin1 字符集) mysql> grant all privileges on sentry.* to 'sentry'@'%' identified by 'sentry_1234' with grant option; mysql> flush privileges; 三： sentry 使用 3.1 在 hive 中使用sentry 1.配置Hive使用Sentry服务 2.关闭Hive的用户模拟功能 3.2 在impala 中启用sentry