tiger

Apache Hudi 介绍与应用

百般思念 提交于 2021-01-08 07:52:32
Apache Hudi Apache Hudi 在基于 HDFS/S3 数据存储之上,提供了两种流原语: 插入更新 增量拉取 一般来说,我们会将大量数据存储到HDFS/S3,新数据增量写入,而旧数据鲜有改动,特别是在经过数据清洗,放入数据仓库的场景。而且在数据仓库如 hive中,对于update的支持非常有限,计算昂贵。另一方面,若是有仅对某段时间内新增数据进行分析的场景,则hive、presto、hbase等也未提供原生方式,而是需要根据时间戳进行过滤分析。 在此需求下,Hudi可以提供这两种需求的实现。第一个是对record级别的更新,另一个是仅对增量数据的查询。且Hudi提供了对Hive、presto、Spark的支持,可以直接使用这些组件对Hudi管理的数据进行查询。 存储类型 我们看一下 Hudi 的两种存储类型: 写时复制(copy on write):仅使用列式文件(parquet)存储数据。在写入/更新数据时,直接同步合并原文件,生成新版本的基文件(需要重写整个列数据文件,即使只有一个字节的新数据被提交)。此存储类型下,写入数据非常昂贵,而读取的成本没有增加,所以适合频繁读的工作负载,因为数据集的最新版本在列式文件中始终可用,以进行高效的查询。 读时合并(merge on read):使用列式(parquet)与行式(avro)文件组合,进行数据存储。在更新记录时

十九、dbms_resource_manager(用于维护资源计划,资源使用组和资源计划指令)

时光总嘲笑我的痴心妄想 提交于 2021-01-06 16:56:41
1、概述 作用:用于维护资源计划,资源使用组和资源计划指令;包dbms_resource_manager_privs用于维护与资源管理相关的权限. 2、包的组成 1)、dbms_resource_manager.create_plan 作用:建立资源计划 语法:dbms_resource_manager.create_plan(plan in varchar2,comment in varchar2,cpu_mth in varchar2 default 'EMPHASIS', active_sess_pool_mth in varchar2 default 'ACTIVE_SESS_POOL_ABSOLUTE', parallele_degree_limit_mth in varchar2 default 'PARALLEL_DEGREE_LIMIT_ABSOLUTE', queueing_mth in varchar2 default 'FIFO_TIMEOUT'); 其中plan指定资源计划名,comment指定用户注释信息,cpu_mth指定cpu资源的分配方法,active_sess_pool_mth指定最大活动会话的分配方法, parallele_degree_limit_mth指定并行度的分配方法,queueing_mth指定活动会话池的队列策略类型。 2)、dbms

oracle 11g逻辑备份介绍-expdp/impdp

只愿长相守 提交于 2021-01-03 14:39:17
Data Pump(数据泵) 是从 oracle 10g 引入的全新的,用于快速迁移数据的方式。Data Pump与 exp /imp最大的区别是,Data Pump是一个位于服务器端的工具,通过Data Pump导出的转储文件只能位于数据库服务器端,而不能将该转储文件导出导客户端。 Data Pump 有以下优点: 1) 任务可以暂停,重启 2) 可以只处理某些对象,不处理某些对象,或者只处理某些对象中满足条件的数据。 3) 在不实际执行导出的情况下,估计需要的磁盘空间 4) 通过db link 将远程数据库导出到转储文件 5) 通过db link,直接将远程数据库中的数据导入到当前数据库 6) 导入时可以修改数据所在的schema名称,表空间名称以及数据文件名称。 7) 通过采样,导出部分数据。 8) 只导出元数据。 9) 并行操作。 一、expdp - 数据导出 Data Pump导出程序expdp能够按照几种方式进行,其中包括数据库、对象模式、表和表空间. Data Pump通过指定目录对象( directory object )来控制生成的转储文件应该放在服务器哪个目录下。 使用create directory语句创建目录对象 SQL>create directory dump_dir as ‘/oracle/datapump/dumps’ SQL>create

Oracle 12C -- sequence的新特性-会话序列

心已入冬 提交于 2021-01-01 09:30:07
如果使用了全局临时表和 sequence ,有时会遇到一些问题。因为全局临时表与会话(或会话中的事务)相关,而sequence与数据库级别相关。 在12C中,可以创建一个sequence,其使用范围只是针对一个给定的session。 --当全局临时表gtt在某个会话中被清空时(如commit),sequence的值不会被重置。下次调用该sequence会使用其nextval值。 SQL > connect scott/ tiger SQL> drop table gtt; SQL> create global temporary table gtt(id number,seq_number number); SQL> grant all on gtt to tiger; SQL> drop sequence seq_session; SQL> create sequence seq_session start with 1 session; SQL> grant all on seq_session to tiger; SQL> insert into gtt values(1,seq_session.nextval); SQL> insert into gtt values(2,seq_session.nextval); SQL> select * from scott.gtt;

聊聊图数据库和图数据库的小知识

百般思念 提交于 2021-01-01 07:39:35
图数据库 - 维基百科 :在计算机科学中, 图数据库 (英语:graph database, GDB )是一个使用 图结构 进行 语义查询 的 数据库 ,它使用 节点 、 边 和属性来表示和存储数据。该系统的关键概念是 图 ,它直接将存储中的数据项,与数据 节点 和节点间表示关系的 边 的集合相关联。这些关系允许直接将存储区中的数据链接在一起,并且在许多情况下,可以通过一个操作进行检索。图数据库将数据之间的关系作为优先级。查询图数据库中的关系很快,因为它们永久存储在数据库本身中。可以使用图数据库直观地显示关系,使其对于高度互连的数据非常有用。 图数据库是一种 非关系型数据库 ,以解决现有 关系数据库 的局限性。图模型明确地列出了数据节点之间的依赖关系,而关系模型和其他 NoSQL 数据库模型则通过隐式连接来链接数据。图数据库从设计上,就是可以简单快速地检索难以在关系系统中建模的复杂层次结构的。图数据库与 20 世纪 70 年代的网络模型数据库相似,它们都表示一般的图,但是网络模型数据库在较低的抽象层次上运行,并且不能轻松遍历一系列边。 图数据库的底层存储机制可能各有不同。有些依赖于关系引擎并将图数据“存储”到表中(虽然表是一个逻辑元素,但是这种方法在图数据库、图数据库管理系统和实际存储数据的物理设备之间施加了另一层抽象)。另一些则使用 键值存储 或 面向文档的数据库 进行存储

TypeScript 新特性介绍

房东的猫 提交于 2020-12-11 17:43:49
TypeScript 字符串新特性 多行字符串 JavaScript 定义多行字符串 var word = 'aaa' + 'bbb' + 'ccc' TypeScript 定义多行字符串 var word = ` aaa bbb ccc ` 字符串模板 var myName = "Zhang San"; var getName = function() { return "zhangsan" } console.log(`hello ${myName}`); console.log(`hello ${getName()}`); 自动拆分字符串 function test(template, name, age) { console.log(template); console.log(name); console.log(age); } var myName = "Zhang san"; var getAge = function() { return 18; } test `my name is ${myName}, I'm ${getAge()}`; 参数新特性 参数类型 在参数名称后面使用冒号来制定参数的类型 声明类型 any string number booleam void (不需要返回值的函数) var myName: string = "zhang san";

truncate表后使用FY_Recover_Data恢复数据(过程内容是另一个版本)

我的未来我决定 提交于 2020-12-10 11:16:04
FY_Recover_Data的另一个版本(内容略有差异)FY_Recover_Data.sql ,源码如下: create or replace package FY_Recover_Data is --------------------------------------------------------------------------- -- WWW.HelloDBA.COM --- -- Created By: Fuyuncat --- -- Created Date: 08/08/2012 --- -- Email: Fuyuncat@gmail.com --- -- Coyprigh (c), 2012, WWW.HelloDBA.COM All rights reserved. --- -- Last Version: http://www.HelloDBA.com/download/FY_Recover_Data.zip --- -- --- -- Update Logs --- -- 15/08/2012, Fuyuncat: --- -- 1. Fixed Bug in Clean_Up_Ts (Not chage TS status correctly) --- -- 2. Added Exception Handle when Restore

中国 2019 互联网报告

南笙酒味 提交于 2020-11-21 15:19:07
我第一眼就看到了中国 中国已经出现在世界舞台上,拥有众多具有创新性和竞争力的全球高科技公司。 它们正在研究越多越多的科技产品并在市场中推广。 该报告以《南华早报》和Abacus的实地报道为依据,对中国的技术开拓者以及构成全球最大互联网社区的重大趋势进行了深入分析。 中美互联网交锋 尽管中国互联网普及率为 60%,但是其庞大的规模意味着互联网用户数量几乎是美国的三倍。 在移动支付中,差距更大: 在中国,使用手机付款的人数超越了美国总人口。 中美互联网关键领域顶级玩家 科技上市 中国顶级互联网玩家 公司 CEO 精选投资者 上市于 市值 估值**(十亿美元)** 腾讯网 马化腾 Naspers,IDG Capital Partners,电讯盈科 HKG: 0700 418 阿里巴巴 zhhanng DST Global,GGV Capital,高盛,软银集团,淡马锡控股 纽约证券交易所: 巴巴 416 蚂蚁金融 井贤栋 阿里巴巴集团,NSSF,CDIB,建银国际 私人的 150 头条 张一鸣 红杉资本中国,SIG亚洲投资,新浪微博,软银 私人的 75 滴滴出行 程维 Matrix Partners,Tiger Global Management,软银 私人的 56 美团点评 王兴 阿里巴巴集团,通用大西洋,高house资本集团,北极光风险投资,红杉资本中国 HKG: 3690 45

Oracle 存储坏块处理方法-基于RMAN实现坏块介质恢复(blockrecover)

独自空忆成欢 提交于 2020-11-13 12:59:23
对于物理损坏的数据块,在有备份的情况下,我们可以通过RMAN块介质恢复(BLOCK MEDIA RECOVERY)功能来完成受损块的恢复, 而不需要恢复整个数据库或所有文件来修复这些少量受损的数据块。但前提条件是你得有一个可用的RMAN备份存在, 因此,无论何时备份就是一切。本篇我们来模拟产生一个坏块,然后使用RMAN实现坏块恢复。 说明: 一般出现坏块的时候,都是业务访问到这个坏块的时候报如下的错误: ERROR at line 1: ORA-01578: ORACLE data block corrupted (file # 18, block # 130) ORA-01110: data file 18: '/ora11gSource/ora11g/tbs_tmp.dbf' 操作: 1 创建用于演示的表空间 create tablespace tbs_tmp datafile '/ora11gSource/ora11g/tbs_tmp.dbf' size 10m autoextend on; 2 基于新的数据文件创建对象tb_tmp conn scott/tiger; create table tb_tmp tablespace tbs_tmp as select * from dba_objects; SQL> col file_name format a60 SQL>

识别哈希算法类型hash-identifier

不打扰是莪最后的温柔 提交于 2020-11-11 05:57:07
识别哈希算法类型hash-identifier hash-identifier是一款哈希算法识别工具。通过该工具,用户可以识别哈希值所使用的哈希算法。确定算法后,就可以采用对应的工具进行xx。执行该命令如下所示: root@daxueba:~# hash-identifier 输出信息如下所示: ######################################################################### # __ __ __ ______ _____ # # /\ \/\ \ /\ \ /\__ _\ /\ _ `\ # # \ \ \_\ \ __ ____ \ \ \___ \/_/\ \/ \ \ \/\ \ # # \ \ _ \ /'__`\ / ,__\ \ \ _ `\ \ \ \ \ \ \ \ \ # # \ \ \ \ \/\ \_\ \_/\__, `\ \ \ \ \ \ \_\ \__ \ \ \_\ \ # # \ \_\ \_\ \___ \_\/\____/ \ \_\ \_\ /\_____\ \ \____/ # # \/_/\/_/\/__/\/_/\/___/ \/_/\/_/ \/_____/ \/___/ v1.1 # # By Zion3R # # www.Blackploit.com # #