tar

Read .tar.gz file in Python

半城伤御伤魂 提交于 2020-04-06 02:09:00
问题 I have a text file of 25GB. so i compressed it to tar.gz and it became 450 MB. now i want to read that file from python and process the text data.for this i referred question . but in my case code doesn't work. the code is as follows : import tarfile import numpy as np tar = tarfile.open("filename.tar.gz", "r:gz") for member in tar.getmembers(): f=tar.extractfile(member) content = f.read() Data = np.loadtxt(content) the error is as follows : Traceback (most recent call last): File

Read .tar.gz file in Python

你说的曾经没有我的故事 提交于 2020-04-06 02:07:14
问题 I have a text file of 25GB. so i compressed it to tar.gz and it became 450 MB. now i want to read that file from python and process the text data.for this i referred question . but in my case code doesn't work. the code is as follows : import tarfile import numpy as np tar = tarfile.open("filename.tar.gz", "r:gz") for member in tar.getmembers(): f=tar.extractfile(member) content = f.read() Data = np.loadtxt(content) the error is as follows : Traceback (most recent call last): File

Linux常用命令大全

隐身守侯 提交于 2020-04-06 02:06:35
Linux常用命令大全(非常全!!!) 系统信息 arch 显示机器的处理器架构 uname -m 显示机器的处理器架构 uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) hdparm -i /dev/hda 罗列一个磁盘的架构特性 hdparm -tT /dev/sda 在磁盘上执行测试性读取操作 cat /proc/cpuinfo 显示CPU info的信息 cat /proc/interrupts 显示中断 cat /proc/meminfo 校验内存使用 cat /proc/swaps 显示哪些swap被使用 cat /proc/version 显示内核的版本 cat /proc/net/dev 显示网络适配器及统计 cat /proc/mounts 显示已加载的文件系统 lspci -tv 罗列 PCI 设备 lsusb -tv 显示 USB 设备 date 显示系统日期 cal 2007 显示2007年的日历表 date 041217002007.00 设置日期和时间 - 月日时分年.秒 clock -w 将时间修改保存到 BIOS 关机 (系统的关机、重启以及登出 ) shutdown -h now 关闭系统 init 0 关闭系统 telinit 0 关闭系统 shutdown -h hours

Linux系统中常用操作命令

∥☆過路亽.° 提交于 2020-04-05 23:28:28
常用指令 ls   显示文件或目录 -l 列出文件详细信息l(list) -a 列出当前目录下所有文件及目录,包括隐藏的a(all) mkdir 创建目录 -p 创建目录,若无父目录,则创建p(parent) cd 切换目录 touch 创建空文件 echo 创建带有内容的文件。 cat 查看文件内容 cp 拷贝 mv 移动或重命名 rm 删除文件 -r 递归删除,可删除子目录及文件 -f 强制删除 find 在文件系统中搜索某文件 wc 统计文本中行数、字数、字符数 grep 在文本文件中查找某个字符串 rmdir 删除空目录 tree 树形结构显示目录,需要安装tree包 pwd 显示当前目录 ln 创建链接文件 more、less 分页显示文本文件内容 head、tail 显示文件头、尾内容 ctrl+alt+F1 命令行全屏模式 系统管理命令 stat 显示指定文件的详细信息,比ls更详细 who 显示在线登陆用户 whoami 显示当前操作用户 hostname 显示主机名 uname 显示系统简要信息 -a 显示系统完整信息 top 动态显示当前耗费资源最多进程信息 ps 显示瞬间进程状态 ps aux -ef 显示系统常驻进程 du 查看目录大小 du -h /home带有单位显示目录信息 df 查看磁盘大小 df -h 带有单位显示磁盘信息 ifconfig

11.文件查找和压缩(find,xargs,tar)

China☆狼群 提交于 2020-04-02 11:21:36
文件查找 在文件系统上查找符合条件的文件 文件查找:locate, find 非实时查找(数据库查找):locate 实时查找:find locate 查询系统上预建的文件索引数据库 /var/lib/mlocate/mlocate.db 依赖于事先构建的索引 索引的构建是在系统较为空闲时自动进行(周期性任务),管理员手动更新数据库 (updatedb) 索引构建过程需要遍历整个根文件系统,极消耗资源 工作特点: 查找速度快 模糊查找 :只要包含有keyword,不论在文件路径全名的任何部分,都会显示出来 非实时查找 搜索的是文件的全路径,不仅仅是文件名 可能只搜索用户具备读取和执行权限的目录 用法:locate KEYWORD 有用的选项 -i 不区分大小写的搜索 -n N 只列举前N个匹配项目 -r 使用 基本 的正则表达式 示例 搜索名称或路径中带有“conf”的文件 locate conf 使用Regex来搜索以“.conf”结尾的文件 locate -r ‘\.conf$’ 注意:不论它是用普通模式(支持通配符)还是正则表达式模式,都是匹配的包含即可。而find的正则表达式模式必须整个路径全部精确匹配才可 find 实时查找工具,通过遍历指定路径完成文件查找 工作特点: 查找速度略慢 精确查找 实时查找 可能只搜索用户具备读取和执行权限的目录 语法: find

mysql innodb cluster 搭建

|▌冷眼眸甩不掉的悲伤 提交于 2020-04-02 06:45:48
根据文档搭建... https://dev.mysql.com/doc/refman/8.0/en/mysql-innodb-cluster-production-deployment.html 环境准备: 1 下载和安装需要的软件(本人的软件版本--都是mysql Community中的Linux Generic版本) mysql-server(mysql-8.0.17-linux-glibc2.12-x86_64.tar.xz) mysql-router(mysql-router-8.0.17-linux-glibc2.12-x86_64.tar.xz) mysql-shell(mysql-shell-8.0.17-linux-glibc2.12-x86-64bit.tar.gz) 安装(以mysql server为例,其他类似,以下都是Mysql_tar操作系统用户操作): cd /home/mysql_tar tar -xvf mysql-8.0.17-linux-glibc2.12-x86_64.tar.xz ln -s mysql-8.0.17-linux-glibc2.12-x86_64 mysql_install(方便升级) ...mysql-router... ....mysql_shell... 编辑环境变量: vim /home/mysql_tar/.bash

FastDFS原理及部署

早过忘川 提交于 2020-04-01 14:32:04
FastDFS 是一个c语言编写的一个开源的轻量级分布式文件系统,它对文件进程管理,功能包括:文件存储,文件同步,文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题,特别适合以文件为载体的在线服务,如相册网站,视频网站等等,FastDFS为互联网量身定制,充分考虑了冗余备份,负载均衡,现行扩容等,并注重高可用,高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载服务。 一、FastDFS原理及架构详解 1、FastDFS架构 FastDFS架构包括Tracker server和Storage server,client请求Tracker server 进行文件上传、下载,通过Tracker server调度最终由Storage server完成文件上传和下载。 Tracker server:负责调度及负载均衡,通过Tracker server,在文件上传时可以根据一些策略找到Storage server来提供上传服务,可以将tracker称为追踪服务器或调度服务器; Storage server:负责文件最终存储,客户端上传的文件最终存储在storage服务器上,Storage server没有实现自己的文件系统,而是利用操作系统的文件系统来管理文件,可以将storage称为存储服务器。 2、Fast DFS系统的角色 Fast

tar 命令详解 / xz 命令

帅比萌擦擦* 提交于 2020-04-01 09:08:10
]# tar [-cxtzjvfpPN] 文件与目录 .... 参数: -c :建立一个压缩文件的参数指令(create 的意思); -x :解开一个压缩文件的参数指令! -t :查看 tarfile 里面的文件! 特别注意,在参数的下达中, c/x/t 仅能存在一个!不可同时存在! 因为不可能同时压缩与解压缩。 -z :是否同时具有 gzip 的属性?亦即是否需要用 gzip 压缩? -j :是否同时具有 bzip2 的属性?亦即是否需要用 bzip2 压缩? -v :压缩的过程中显示文件!这个常用,但不建议用在背景执行过程! -f :使用档名,请留意,在 f 之后要立即接档名喔!不要再加参数!    例如使用『 tar -zcvfP tfile sfile』就是错误的写法,要写成    『 tar -zcvPf tfile sfile』才对喔! -p :使用原文件的原来属性(属性不会依据使用者而变) -P :可以使用绝对路径来压缩! -N :比后面接的日期(yyyy/mm/dd)还要新的才会被打包进新建的文件中! --exclude FILE:在压缩的过程中,不要将 FILE 打包! 范例: 范例一:将整个 /etc 目录下的文件全部打包成为 /tmp/etc.tar [root@linux ~]# tar -cvf /tmp/etc.tar /etc <==仅打包,不压缩!

使用Python3解压gz、tar、tgz、zip、rar五种格式的压缩文件例子

寵の児 提交于 2020-03-31 02:57:09
使用Python3解压如下五种压缩文件:gz、tar、tgz、zip、rar 简介 gz: 即gzip,通常只能压缩一个文件。与tar结合起来就可以实现先打包,再压缩。 tar: linux系统下的打包工具,只打包,不压缩 tgz:即tar.gz。先用tar打包,然后再用gz压缩得到的文件 zip: 不同于gzip,虽然使用相似的算法,可以打包压缩多个文件,不过分别压缩文件,压缩率低于tar。 rar:打包压缩文件,最初用于DOS,基于window操作系统。压缩率比zip高,但速度慢,随机访问的速度也慢。 例子 import gzip import os import tarfile , zipfile, rarfile from library.utils.file import get_filetype from library.utils.path import make_dir from library.utils.type_conv import random_str def uncompress(src_file, dest_dir): result = get_filetype(src_file) if not result[0] : return (False, result[1], '') filefmt = result[1] result = make_dir

centos tar 常用

隐身守侯 提交于 2020-03-30 03:45:20
tar命令详解 -c: 建立压缩档案 -x:解压 -t:查看内容 -r:向压缩归档文件末尾追加文件 -u:更新原压缩包中的文件 这五个是独立的命令,压缩解压都要用到其中一个,可以和别的命令连用但只能用其中一个。 下面的参数是根据需要在压缩或解压档案时可选的。 -z:有gzip属性的 -j:有bz2属性的 -Z:有compress属性的 -v:显示所有过程 -O:将文件解开到标准输出 参数-f是必须的 -f: 使用档案名字,切记,这个参数是最后一个参数,后面只能接档案名。 # tar -cf all.tar *.jpg 这条命令是将所有.jpg的文件打成一个名为all.tar的包。-c是表示产生新的包,-f指定包的文件名。 # tar -rf all.tar *.gif 这条命令是将所有.gif的文件增加到all.tar的包里面去。-r是表示增加文件的意思。 # tar -uf all.tar logo.gif 这条命令是更新原来tar包all.tar中logo.gif文件,-u是表示更新文件的意思。 # tar -tf all.tar 这条命令是列出all.tar包中所有文件,-t是列出文件的意思 # tar -xf all.tar 这条命令是解出all.tar包中所有文件,-x是解开的意思 查看 tar -tf aaa.tar.gz 在不解压的情况下查看压缩包的内容 压缩 tar