bytes

hadoop系列——hadoop集群动态扩容、缩容

六眼飞鱼酱① 提交于 2020-03-02 14:45:41
动态扩容,顾名思义,就是通过增加节点实现集群服务能力的提升。是hadoop,或者说分布式集群的特性之一; 同理,部分节点可能老化,升级换代,节点需要对应的下线处理。今天就分别介绍这两部分操作: 1,动态扩容 1.1,在新增节点配置环境,可以参考 Hadoop集群的搭建 里如何配置节点,主要是配置ssh免密登录,配置java环境。步骤都是一样的,不在赘述。 1.2,在主节点修改hosts文件,增加新增节点,并同步到集群所有节点 [hadoop@server45 hadoop]$ cat /etc/hosts 10.1.197.50 server50 10.1.197.51 server51 10.1.197.41 server41 10.1.197.42 server42 10.1.197.43 server43 10.1.197.44 server44 10.1.197.45 server45 1.3,修改 hadoop目录下的etc/hadoop/下的slaves文件,增加新节点 [hadoop@server45 hadoop]$ cat slaves server45 server44 server43 server42 [hadoop@server45 hadoop]$ pwd /opt/bigdata/hadoop/hadoop-2.6.5/etc/hadoop 1.4

路由器与交换机配置——配置文件和系统映像备份与恢复

核能气质少年 提交于 2020-03-02 06:20:11
一、实验目的:将交换机的配置文件和系统镜像文件备份到 TFTP 服务器,然后将自身的配置和系统映像删除,从 TFTP 服务器上恢复配置文件和系统镜像 二、拓扑图如下: 三、实验步骤: 1、先给服务器 Srv1 配置 ip 地址 2、开启 Srv1 的 TFTP 服务 3、配置交换机 S1 Switch>enable --进入特权模式 Switch#config terminal --进入全局配置模式 Enter configuration commands, one per line. End with CNTL/Z. Switch(config)#hostname S1 --修改交换机名为 S1 S1(config)#line vty 0 5 --指定虚拟终端个数 S1(config-line)#password 111 --设置远程登录密码 S1(config-line)#login --保存密码配置(必设置) S1(config-line)#interface vlan 1 --进入到 vlan1 端口 S1(config-if)#ip address 192.168.1.1 255.255.255.0 --配置 vlan1 的 ip 地址 S1(config-if)#no shutdown --激活端口 S1(config-if)#end --返回特权模式 %LINK-5

利用文件头判断文件类型

六月ゝ 毕业季﹏ 提交于 2020-03-01 21:24:45
上传文件时经常需要做文件类型判断,例如图片、文档等,普通做法是直接判断文件后缀名,而文艺青年为了防止各种攻击同时也会加上使用文件头信息判断文件类型。 原理很简单:用文件头判断,直接读取文件的前2个字节即可。 1 public class FileUtil { 2 /** 3 * byte数组转换成16进制字符串 4 * 5 * @param src 6 * @return 7 */ 8 private static String bytesToHexString(byte[] src) { 9 StringBuilder stringBuilder = new StringBuilder(); 10 if (src == null || src.length <= 0) { 11 return null; 12 } 13 for (int i = 0; i < src.length; i++) { 14 // 以十六进制(基数 16)无符号整数形式返回一个整数参数的字符串表示形式,并转换为大写 15 String hv = Integer.toHexString(src[i] & 0xFF).toUpperCase(); 16 if (hv.length() < 2) { 17 stringBuilder.append(0); 18 } 19 stringBuilder

利用文件头判断文件类型

一世执手 提交于 2020-03-01 21:24:08
上传文件时经常需要做文件类型判断,例如图片、文档等,普通做法是直接判断文件后缀名,而文艺青年为了防止各种攻击同时也会加上使用文件头信息判断文件类型。 原理很简单:用文件头判断,直接读取文件的前2个字节即可。 1 public class FileUtil { 2 /** 3 * byte数组转换成16进制字符串 4 * 5 * @param src 6 * @return 7 */ 8 private static String bytesToHexString(byte[] src) { 9 StringBuilder stringBuilder = new StringBuilder(); 10 if (src == null || src.length <= 0) { 11 return null; 12 } 13 for (int i = 0; i < src.length; i++) { 14 // 以十六进制(基数 16)无符号整数形式返回一个整数参数的字符串表示形式,并转换为大写 15 String hv = Integer.toHexString(src[i] & 0xFF).toUpperCase(); 16 if (hv.length() < 2) { 17 stringBuilder.append(0); 18 } 19 stringBuilder

Python 2 与 Python 3 的差异对比

喜欢而已 提交于 2020-03-01 19:46:35
这篇文章总结了一些与Python2.6相比Python3.0中的新特性.Python3是一个不向后兼容的版本,有了很多的改变,这些对于Python开发者来说是非常重要的,虽然多数人说Python3真正流行起来还需要一段时间,但是Python3确实有了很大的改进,现在也是时间来学习Python3了。在真正理解Python3中的一些变化之后,会发现其实Python3的变化并没有想象的那么多,主要是修复了一些令人讨厌的地方。 一般在每一个发行版源码的Misc/NEWS文件中详细描述了每一个细小的变化。 1、常见的障碍 1.1 Print是一个函数 在Python3中print是个函数,这意味着在使用的时候必须带上小括号,并且它是带有参数的。 old: print "The answer is", 2+2 new: print("The answer is", 2+2) old: print x, # 末尾加上逗号阻止换行 new: print(x, end="") # 使用空格来代替新的一行 old: print >>sys.staerr, "fatal error" new: print ("fatal error", file=sys.stderr) old: print (x, y) # 打印出元组(x, y) new: print((x, y)) # 同上

golang 判断ip、内网ip

浪尽此生 提交于 2020-03-01 11:07:37
实现如下 package main import ( "fmt" "net" "strconv" "strings" ) func checkIp(ipStr string) bool { address := net.ParseIP(ipStr) if address == nil { fmt.Println("ip地址格式不正确") return false } else { fmt.Println("正确的ip地址", address.String()) return true } } // ip to int64 func inetAton(ipStr string) int64 { bits := strings.Split(ipStr, ".") b0, _ := strconv.Atoi(bits[0]) b1, _ := strconv.Atoi(bits[1]) b2, _ := strconv.Atoi(bits[2]) b3, _ := strconv.Atoi(bits[3]) var sum int64 sum += int64(b0) << 24 sum += int64(b1) << 16 sum += int64(b2) << 8 sum += int64(b3) return sum } //int64 to IP func inetNtoa

ie文件断点续传

房东的猫 提交于 2020-03-01 04:35:01
一、概述 所谓断点续传,其实只是指下载,也就是要从文件已经下载的地方开始继续下载。在以前版本的HTTP协议是不支持断点的,HTTP/1.1开始就支持了。一般断点下载时才用到Range和Content-Range实体头。 HTTP协议本身不支持断点上传,需要自己实现。 二、Range 用于请求头中,指定第一个字节的位置和最后一个字节的位置,一般格式: Range:用于客户端到服务端的请求,可以通过改字段指定下载文件的某一段大小及其单位,字节偏移从0开始。典型格式: Ranges: (unit=first byte pos)-[last byte pos] Ranges: bytes=4000- 下载从第4000字节开始到文件结束部分 Ranges: bytes=0~N 下载第0-N字节范围的内容 Ranges: bytes=M-N 下载第M-N字节范围的内容 Ranges: bytes=-N 下载最后N字节内容 1.以下几点需要注意: (1)这个数据区间是个闭合区间,起始值是0,所以“Range: bytes=0-1”这样一个请求实际上是在请求开头的2个字节。 (2)“Range: bytes=-200”,它不是表示请求文件开始位置的201个字节,而是表示要请求文件结尾处的200个字节。 (3)如果last byte pos小于first byte pos

ip6tables 基本配置

半世苍凉 提交于 2020-03-01 01:12:25
一、配置效果 [root@gs ~]# ip6tables -nvL Chain INPUT (policy DROP 893 packets, 64296 bytes) pkts bytes target prot opt in out source destination 2630 229K ACCEPT all * * ::/0 ::/0 state RELATED,ESTABLISHED 52 6408 ACCEPT tcp * * ::/0 ::/0 tcp dpt:80 901 107K ACCEPT tcp * * ::/0 ::/0 tcp dpt:443 64 4304 ACCEPT all * * ::/0 fe80::/16 1582 103K ACCEPT all * * fe80::/16 ::/0 Chain FORWARD (policy ACCEPT 543 packets, 224K bytes) pkts bytes target prot opt in out source destination Chain OUTPUT (policy ACCEPT 13718 packets, 1042K bytes) pkts bytes target prot opt in out source destination [root@gs ~]# 二

ip6tables 基本配置

a 夏天 提交于 2020-03-01 00:31:03
一、配置效果 [root@gs ~]# ip6tables -nvL Chain INPUT (policy DROP 893 packets, 64296 bytes) pkts bytes target prot opt in out source destination 2630 229K ACCEPT all * * ::/0 ::/0 state RELATED,ESTABLISHED 52 6408 ACCEPT tcp * * ::/0 ::/0 tcp dpt:80 901 107K ACCEPT tcp * * ::/0 ::/0 tcp dpt:443 64 4304 ACCEPT all * * ::/0 fe80::/16 1582 103K ACCEPT all * * fe80::/16 ::/0 Chain FORWARD (policy ACCEPT 543 packets, 224K bytes) pkts bytes target prot opt in out source destination Chain OUTPUT (policy ACCEPT 13718 packets, 1042K bytes) pkts bytes target prot opt in out source destination [root@gs ~]# 二

RHEL7多种方式配置ip地址

 ̄綄美尐妖づ 提交于 2020-02-29 16:25:16
linux系统 配置网络有多种方式,接下来我们介绍几种供大家工作使用 图形界面配置方法 点击桌面右上角有线连接处,选中配置ens33 在此输入ip地址,掩码,DNS,网关等 然后选中启动就ok了 如此网络配置就完成了! 通过修改配置文件 通过修改ifcfg-ens33配置文件来修改配置ip [root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=dhcp DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no IPV6_ADDR_GEN_MODE=stable-privacy NAME=ens33 UUID=96a5f670-6b15-4711-af6e-92aa92e1c66b DEVICE=ens33 ONBOOT=no ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ "/etc/sysconfig/network-scripts/ifcfg-ens33" 15L, 279C 将BOOTPROTO改为static ONBOOT