log

【原创】大叔问题定位分享(13)HBase Region频繁下线

六眼飞鱼酱① 提交于 2020-04-06 13:15:42
问题现象:hive执行sql报错 select count(*) from test_hive_table; 报错 Error: java.io.IOException: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions: Wed May 16 10:22:17 CST 2018, null, java.net.SocketTimeoutException: callTimeout=60000, callDuration=68270: row '6495922803d09' on table 'test_hbase_table' at region=test_hbase_table,6495922803d09,1526207008130.6060407a4aa5e23c8df09614dd3fe650., hostname=server121,16020,1526398855988, seqNum=47468 直接原因一:region状态 这个hive表是外部表,底层数据存放在hbase中,出现问题的region状态: 2018-05-16 03:18:16 在RegionServer server121 上线; 2018-05-16 06

weakSet垃圾回收机制

我的未来我决定 提交于 2020-04-06 09:27:27
WeakSet对象 差异性 : WeakSet 与 Set 类似,都是去重有序聚合数据。但有两点不同: WeakSet 成员只能是对象,不能是其它类型的数据。 WeakSet 成员对象都是弱引用,即垃圾回收机制不会考虑 WeakSet 对象对该对象的引用。 如果其它对象没有引用该对象,垃圾回收机制会自动回收该对象所占的内存,不会考虑该对象是否还在 WeakSet 对象中。 正是由于以上特性, WeakSet 中的成员对象会随时消失(垃圾回收机制运行前后可能会不同) 语法: new WeakSet([iterable]) iterable 数组,类数组(或者实现了迭代器接口的数据) WeakSet 实例方法简表: 方法|说明 :-:|--- add() | 为 WeakSet 添加一个成员 delete() | 从 WeakSet 中删除一个成员 has() | 判断 WeakSet 中是否存在某个成员 b 注:正是由于 WeakSet 的弱引用特征,我们可以用它来存储 DOM ,这样就不用担心 DOM 被页面中删除不会泄露在内存中的问题了。 创建weakset //创建weakSet let ws = new WeakSet([["1","2",3]]) let arr = [1,3,4] // null也是不合法的 let ws2 = new WeakSet([[1,2],

js对象、数组转换字符串

佐手、 提交于 2020-04-06 08:10:20
对象转换成字符串需要使用toString()方法。 1 var a = function(){ 2 console.log(111); 3 }; 4 var b = a.toString(); 5 console.log(a); 函数式的function 6 console.log(b); 字符串function 7 console.log(typeof a); >>function 8 console.log(typeof b); >>string 数组转换字符串 1.0 1 var a = [1,2,3]; 2 var b = a.toString(); 3 console.log(a); >>[1,2,3] 4 console.log(b); >>"1,2,3" 当我们进行与原始值比较的时候,它们会自动调用toString方法。(+,-,!=,==都会进行转换。) 数组转换字符串 2.0 1 // var a = [1,2,3]; 2 // console.log(a.join()); >>1,2,3 toString()与join()的比较 1 // var a = [1,2,3]; 2 // console.log(a.join()); >>1,2,3 3 // console.log(a.toString()); >>1,2,3 4 // console.log(a

Set对象

戏子无情 提交于 2020-04-06 06:00:27
Set对象 在javaScript中存在两类聚合数据: 数组和对象。 ES6又新增两类聚合数据:Set对象和Map对象 Set对象,类似数组,但却是去重后的有序聚合数据。成员值都是唯一的(数据类型不同) // let s1 = new Set([1, 2, 3, 2, 1, '2', NaN, +'a', 0, 0/-1]); // console.log(s1) // // 转化数组 // console.log([...s1]) // console.log(Array.from(s1)); Set是构造函数,参数是数组,类数组(或者实现了迭代器接口的数据) 我们可以用...语法对set对象转成数组。 set 相关方法简表: 方法 | 说明 :-:|-- Set.prototype.constructor | 构造函数,默认就是 Set 函数。 Set.prototype.size | 返回 Set 实例的成员总数。 add (value) | 添加某个值,返回 Set 结构本身。 delete(value ) | 删除某个值,返回一个布尔值,表示删除是否成功。 has (value) | 返回一个布尔值,表示参数是否为 Set 的成员。 clear() | 清除所有成员,没有返回值。 keys () | 返回键名的遍历器。 values () | 返回键值的遍历器。

Crawlab尝试

老子叫甜甜 提交于 2020-04-06 03:42:26
官方: https://docs.crawlab.cn/ https://github.com/crawlab-team/crawlab Crawlab配置 Windows 安装 docker: https://www.docker.com/products/docker-desktop 安装python环境: 我选 Pycharm+Anaconda 安装docker-compose: pip install docker-compose 创建项目文件:docker-compose.yml 启动: docker-compose up -d 测试服务: http://localhost:8080/ docker-compose.yml version: '3.3' services: master: image: tikazyq/crawlab:latest container_name: master environment: # CRAWLAB_API_ADDRESS: "https://<your_api_ip>:<your_api_port>" # backend API address 后端 API 地址. 适用于 https 或者源码部署 CRAWLAB_SERVER_MASTER: "Y" # whether to be master node 是否为主节点,主节点为

Metasploit log命令技巧

大兔子大兔子 提交于 2020-04-06 00:29:39
Metasploit log命令技巧 在Metasploit框架中,提供了一个日志功能,记录了Metasploit框架的日志信息,默认保存在/root/.msf/logs/framework.log文件。当用户执行某操作失败时,则可以使用log命令技巧查看具体的日志信息。如果用户想要更多了解log命令,还可以使用help log命令技巧查看更多相关的信息,如日志文件位置、安全级别。 来源: oschina 链接: https://my.oschina.net/u/1585857/blog/3216633

ftp杂记

与世无争的帅哥 提交于 2020-04-05 22:39:40
1. 配置文件 有些版本的配置文件在/etc/vsftpd.conf,有些在 /etc/vsftpd/vsftpd.conf; 这样需要手动查找配置文件vsftpd.conf ,退回根目录,使用查找命令: find / -name 'vsftpd.conf' 2.指定ftp上传目录 # Example config file /etc/vsftpd.conf # # The default compiled in settings are fairly paranoid. This sample file # loosens things up a bit, to make the ftp daemon more usable. # Please see vsftpd.conf.5 for all compiled in defaults. # # If you do not change anything here you will have a minimum setup for an # anonymus FTP server. # # READ THIS: This example file is NOT an exhaustive list of vsftpd options. # Please read the vsftpd.conf.5 manual page to

robotframework——excel处理方法

十年热恋 提交于 2020-04-05 19:33:38
(一)、説了这么多很抱歉,工作内容关系没有源代码分享,但是excel的操作可以分享给大家,相信大家一看就知,当然我只是菜鸟,有不当言语之处希望见谅,可留言指出让我改正,谢谢; (二)、分享代码部分: excel Open Excel C:\\excel1.xls #读取列数 @{listcol} Get Column Values Sheet1 2 Log Many @{listcol} #读取行数 @{listrow} Get Row Values Sheet1 0 log Many @{listrow} #获取列数总计 ${colnum} Get Column Count Sheet1 log ${colnum} #获取行数总计 ${rownum} Get Row Count Sheet1 log ${rownum} #根据行列坐标获取excel的值 ${zuobiaovalue} Read Cell Data By Coordinates Sheet1 2 1 log ${zuobiaovalue} #根据列坐标读取值 ${colvalue} Read Cell Data By Name Sheet1 C2 log ${colvalue} #for循环取值 : FOR ${row} IN RANGE ${rownum} \ ${name} Read Cell Data By

O(log n)究竟意味着什么?

旧巷老猫 提交于 2020-04-05 16:58:21
问题: I am learning about Big O Notation running times and amortized times. 我正在学习Big O Notation运行时间和摊销时间。 I understand the notion of O(n) linear time, meaning that the size of the input affects the growth of the algorithm proportionally...and the same goes for, for example, quadratic time O(n 2 ) etc..even algorithms, such as permutation generators, with O(n!) times, that grow by factorials. 我理解 O(n) 线性时间的概念,意味着输入的大小成比例地影响算法的增长...例如,二次时间 O(n 2 )等 也是如此。即使算法也是如此。 ,例如置换生成器,具有 O(n!) 倍,通过阶乘生长。 For example, the following function is O(n) because the algorithm grows in proportion to its input n : 例如

Linux 基础

拥有回忆 提交于 2020-04-04 15:21:22
使用命令退出虚拟终端2上登录的用户 Ctrl + Alt + F2 使用命令退出虚拟终端5上登录的用户 exit 查看哪些用户在系统上工作 who 修改当前时间为2018年8月26号11:28 date 082611282018 查看2015年10月份日历 cal 10 2015 使用两种方法查看ls命令的使用说明 ls --help man ls 清除屏幕 clear 使用“useradd tom”命令新建tom用户,为tom用户设置密码“123” useradd tom echo "123" | passwd --stdin tom 切换当前用户为tom su - tom 查看当前登陆Linux系统所使用的用户名 whoami 创建目录wg mkdir /wg 使用绝对路径的方法在wg目录下新建文件a.txt touch /wg/a.txt 进入wg目录 cd wg 使用相对路径的方法在当前目录下新建wg01目录和b.txt文件 mkdir wg01 && touch b.txt 以长列表格式列出当前目录下的内容 ls -l 删除空目录wg01 rm -rf wg01 进入上一级工作目录 cd .. 强制删除非空目录wg rm -rf wg 复制/etc/passwd到当前目录,名为file1 cp /etc/passwd file1 不停的以只读的方式查看file1文件的内容