phoenix

查杀oracle的阻塞 cuihengju8933 2018-07-22 20:12:32 42 收藏 执行以下脚本抓目前的阻塞： select (select username||':'||sid||':'||serial# from v$session where sid=a.sid) || ' locked ' || (select username ||':'||sid||':'||serial# from v$session where sid=b.sid) from v$lock a, v$lock b where a.block = 1 and b.request > 0 and a.id1 = b.id1 and a.id2 = b.id2; 找到目前的阻塞源： select b.SQL_TEXT,a.SID,a.SERIAL# from v$session a, v$sqlarea b where a.SQL_HASH_VALUE = b.HASH_VALUE(+) and sid=&sid; 杀掉目前的阻塞源： alter system kill session '5,35133'immediate; 来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/22996654/viewspace-2158304/，如需转载，请注明出处

文章目录 目标 Sink定义 使用自定义Sink 测试 目标 两张表left join的结果更新写入Phoenix 数据样例： ( true,12,2,3,2020-06-18T00:00,2020-06-18T00:00 ) ( true,12,2,5,2020-06-18T00:00,2020-06-18T00:00 ) ( true,12,2,2,2020-06-18T00:00,2020-06-18T00:00 ) ( true,12,2,4,2020-06-18T00:00,2020-06-18T00:00 ) ( true,13,2,null,2020-06-18T00:00,null ) ( false,13,2,null,2020-06-18T00:00,null ) ( true,13,2,2,2020-06-18T00:00,2020-06-18T00:00 ) Sink定义 由于数据Phoenix可以不考虑删除的操作，所以只用处理Boolean为ture的数据，示例如下： class PhoenixSinkFunction < IN > extends RichSinkFunction < IN > { final JDBCUpsertOutputFormat outputFormat ; PhoenixSinkFunction (

​ 现如今每个公司都有自己的大数据平台和大数据团队，可以看出大数据建设在公司的重要地位，不管是用于做数据分析、BI还是做用于机器学习、人工智能等领域，大数据都是基础，海量数据成为了互联网公司的重要资产。 今天这一份书单，我们将推荐几本综合介绍大数据平台和技术栈的优质书籍，帮各位对大数据技术感兴趣的小伙伴快速入门和学习大数据。 大数据技术栈系列书单 ​ 大数据技术原理与应用 （1） 概念篇：介绍当前紧密关联的*新IT领域技术云计算、大数据和物联网。 （2） 大数据存储与管理篇：介绍分布式数据存储的概念、原理和技术，包括HDFS、HBase、NoSQL数据库、云数据库。 （3） 大数据处理与分析篇：介绍MapReduce分布式编程框架、基于内存的分布式计算框架Spark、图计算、流计算、数据可视化。 （4） 大数据应用篇：介绍基于大数据技术的推荐系统。 作者简介 林子雨,北大博士，厦门大学计算机科学系老师，中国高校**"数字教师"的提出者和建设者。在数据库、数据仓库、数据挖掘、大数据、云计算和物联网等领域有着十多年的知识积累，对各个领域知识都有比较深入的了解，有比较宽泛的视野。 ​ 大数据平台基础架构指南 当前不乏大数据具体技术组件的书籍，但却很少有从大数据平台整体建设和产品形态的宏观角度入手来阐释的。 本书重点介绍大数据开发平台服务构建的整体思路和解决方案

题解 设有 \(n\) 棵梅树，每个篮子的容量为 \(k\) ，第 \(i\) 棵树上的红梅数量为 \(a_i\) ，第 \(i\) 棵树上的蓝莓数量为 \(b_i\) 。注意到最多只有 \(n\) 个篮子里面装的梅子是不同色的(如果从同一棵树上装了多个不同色的篮子，我们一定可以把这多个不同色的蓝子转化为多个同色的篮子加上一个不同色的篮子)。 设 \(dp[i-1][j]\) 表示前 \(i-1\) 棵树装完梅子后，剩下 \(j\) 个红梅，最多能填满的篮子的数量。令 \(sum=\sum\limits_{p=1}^{i-1}(a_p+b_p)-dp[i-1][j]\times k\) ，则剩下的蓝莓数量等于 \(sum-j\) 。 枚举第 \(i\) 棵树生成的不同色的篮子的组成，设不同色的篮子使用红梅 \(s\) 个，使用蓝莓 \(k-s\) 个。则前 \(i\) 棵树所剩的红梅还有 \(j-s+a_i\) 个，蓝莓还有 \(sum-j-k+s+b_i\) 个。 则 \(dp[i][(j-s+a_i) \mod k]=max\left\{dp[i][(j-s+a_i) \mod k],dp[i-1][j]+1+\left\lfloor\frac{j-s+a_i}{k} \right\rfloor + \left\lfloor\frac{sum-j-k+s+b_i}{k}

Codeforces Round #638 (Div. 2) 比赛人数15215 [codeforces 1348D] Phoenix and Science 从两个极端结果出发,找到中间结果 总目录详见 https://blog.csdn.net/mrcrack/article/details/103564004 在线测评地址 https://codeforces.com/contest/1348/problem/D Problem Lang Verdict Time Memory D - Phoenix and Science GNU C++17 Accepted 31 ms 0 KB 信心很重要 ，没有信心，这样的问题未必能解决，问题解决得越多，内心越强大。 编码过程中，遭遇了一次WA,一次TLE.均靠如下极端数据的测试通过得以解决。 极端数据是对程序的最大考验 。 Input: 1 1000000000 29 Output: 1 2 4 8 16 32 64 128 256 512 1024 2048 4096 8192 16384 32768 65536 131072 262144 524288 1048576 2097152 4194304 8388608 16777216 33554432 67108864 134217728 194693633 部分样例模拟如下

题目地址： http://codeforces.com/contest/1348/problem/D 大意：第一天有一个细胞质量为1，每一天白天细胞可以发生分裂（任意个发生分裂，前后质量守恒），晚上细胞质量增加（每个细胞质量增加1）。给定一个n，问至少要多少天，细胞总质量恰好达到为n（2<=n<=1e9）。 分析： 先考虑分裂，分裂不会对细胞的总质量带来任何影响，只是会影响晚上细胞质量增加的值。 若当前细胞数量为x，那么晚上细胞可以增加的质量dm满足x<=dm<=2x 。 我们可以确定的是细胞增加最快的情况是： 每一天白天所有细胞都发生分裂 。但是这样不能保证最后细胞总质量恰好达到n。 计算x为满足的最大值n>=2 0 +2 1 +...+2 x =sum，若sum==n,那么每天全部分裂即可，否则将n-sum插入增加的队列。排序。可以证明这样天数最少 代码： #include<bits/stdc++.h> using namespace std; typedef long long LL; typedef pair <LL, int > P; const int INF= 0x3f3f3f3f ; const LL LINF= 0x3f3f3f3f3f3f ; const int MAX_N=1e5+ 20 ; const LL MOD=1e9+ 7 ; LL n; int t;

云数据库 HBase 版 （ApsaraDB for HBase）是基于 Hadoop 的一个分布式数据库，支持海量的PB级的大数据存储，适用于高吞吐的随机读写的场景。目前在阿里内部有数百个集群，10000台左右规模的集群，服务数百个业务线，在订单存储、消息存储、物联网、轨迹、wifi、安全风控、搜索等领域有较多的在线应用。 阿里云特别提供HBase产品化方案服务广大的中小型客户。 精心打造的功能 产品内核及架构深度优化 架构高可用，集群可无限扩展，内核深度优化 架构高可用 高可用架构，Master互为主备模式，且HA实时检测，保障业务高可靠；core节点故障时，region可秒级切换 集群弹性扩展 单core节点提供最高10万QPS、最高8T存储空间；磁盘及节点可灵活扩容，可轻松扩展到千台规模，满足千万级QPS及数PB存储空间 低延迟 SSD存储满足0.2k单条 999延迟3ms 平均延迟1ms 内核深度优化 集团HBase规模超过万台，多位PMC、Committer保驾护航 数据备份 支持HBase集群数据备份及恢复 HBase低成本存储 支持HBase低成本存储，存储成本降低50%以上 双集群容灾 支持HBase双集群容灾 构建领域数据库满足多种场景需求 支持SQL、时序、时空、图、检索等诉求 支持实时小对象存储 满足10M以内的对象实时存储，实时访问 支持SQL

你可能不需要单页面应用 一、总结 一句话总结： 单页面应用和传统服务端渲染互有优缺：根据实际需求选择合适的方案：也可以根据需求采用混合式的解决方案 二、你可能不需要单页面应用 转自或参考：你可能不需要单页面应用 - 众成翻译 https://www.zcfy.cc/article/you-probably-don-t-need-a-single-page-application 随着 React、Angular、Vue.js、Elm 等前端框架的迅速崛起，单页面应用在 WEB 中无所不在。对大多数开发者来说，单页应用已经成为他们‘默认’工具集的一部分，在开始一个新的项目时，由于技术选型形成了思维定势，一些开发者往往直接想到：一个提供 REST API 的服务端，和 React、Angular、Vue、Elm 中的一个前端框架。 这些工具有什么问题吗？当然没有，实际上我喜欢用这些工具进行开发，然而我只会在实际需求将我推向那个方向时才会选择这种架构。如果没有明确的原因去开发一个单页面应用，我在本周每一个工作日都会使用传统服务端渲染的架构进行开发，这种架构很简单并且开发起来更快： 无状态请求 传统的 WEB 服务器是无状态的（HTTP协议是无状态的），这意味着每个端点都可以单独进行推理和测试。相比之下，单页面应用必须在整个会话期间精确地定义状态是如何加载，刷新以及销毁的

1. HBase读写的方式概况 主要分为： 纯Java API读写HBase的方式； Spark读写HBase的方式； Flink读写HBase的方式； HBase通过Phoenix读写的方式； 第一种方式是HBase自身提供的比较原始的高效操作方式，而第二、第三则分别是Spark、Flink集成HBase的方式，最后一种是第三方插件Phoenix集成的JDBC方式，Phoenix集成的JDBC操作方式也能在Spark、Flink中调用。 注意： 这里我们使用HBase2.1.2版本，spark2.4版本，scala-2.12版本，以下代码都是基于该版本开发的。 2. Spark上读写HBase Spark上读写HBase主要分为新旧两种API，另外还有批量插入HBase的，通过Phoenix操作HBase的。 2.1 spark读写HBase的新旧API 2.1.1 spark写数据到HBase 使用旧版本saveAsHadoopDataset保存数据到HBase上。 /** * saveAsHadoopDataset */ def writeToHBase(): Unit = { // 屏蔽不必要的日志显示在终端上 Logger.getLogger("org.apache.spark" ).setLevel(Level.WARN) /* spark2.0以前的写法 val