文件整理

　　在日常python编程中，经常需要对大量文件和大量路径进行操作，这就依赖于os模块，下面是我对os模块常用方法的整理。 1、 获 取 当 前路 径 及路 径 下的文件 （1）os.getcwd()：查看当前所在路径 >>> os.getcwd() 'C:\\Users\\f1237928\\Desktop' （2）os.listdir(path)：列出制定路径下的所有文件及文件夹，不传参时path为当前路径，返回值为列表类型 >>> os.listdir() ['desktop.ini', 'HOME', 'Navicat 12 for MySQL.lnk', 'news', 'Qshop', 'test'] 2 、 绝对 路 径 　　os.path.abspath(path)：返回path的绝对路径 >>> os.path.abspath('.') 'C:\\Users\\f1237928\\Desktop' 3 、 将 路 径 分割成路 径 和文件 / 文件 夹 名部分 （1）os.path.split(path)：返回值为元组类型，若路径末尾字符为“//”，返回(路径, “”)；有则返回(上级路径, 文件/文件夹名)；若整个路径当中不存在”//”，则返回（“”，路径）。返回的路径末尾均不包含“//” >>> os.path.split('C:\\Users\

文件与文件夹操作主要用到以下几个类： 　　1.File类:　　 提供用于创建、复制、删除、移动和打开文件的静态方法，并协助创建 FileStream 对象。 　　　　msdn: http://msdn.microsoft.com/zh-cn/library/system.io.file(v=VS.80).aspx 　　2.FileInfo类： 　　　　提供创建、复制、删除、移动和打开文件的实例方法，并且帮助创建 FileStream 对象 　　　　msdn: http://msdn.microsoft.com/zh-cn/library/system.io.fileinfo(v=VS.80).aspx 　　3.Directory类： 　　　　 公开用于创建、移动和枚举通过目录和子目录的静态方法。 　　　　msdn: http://msdn.microsoft.com/zh-cn/library/system.io.directory.aspx 　　4.DirectoryInfo类： 　　　　公开用于创建、移动和枚举目录和子目录的实例方法。 　　　　msdn: http://msdn.microsoft.com/zh-cn/library/system.io.directoryinfo.aspx 　　 （注：以下出现的dirPath表示文件夹路径，filePath表示文件路径） 1

Linux 是目前应用最广泛的服务器操作系统，基于 Unix，开源免费，由于系统的稳定性和安全性，市场占有率很高，几乎成为程序代码运行的最佳系统环境。linux 不仅可以长时间的运行我们编写的程序代码，还可以安装在各种计算机硬件设备中，如手机、路由器等，Android 程序最底层就是运行在 linux 系统上的。 一、linux 的目录结构 bin (binaries) 存放二进制可执行文件 sbin (super user binaries) 存放二进制可执行文件，只有 root 才能访问 etc (etcetera) 存放系统配置文件 usr (unix shared resources) 用于存放共享的系统资源 home 存放用户文件的根目录 root 超级用户目录 dev (devices) 用于存放设备文件 lib (library) 存放跟文件系统中的程序运行所需要的共享库及内核模块 mnt (mount) 系统管理员安装临时文件系统的安装点 boot 存放用于系统引导时使用的各种文件 tmp (temporary) 用于存放各种临时文件 var (variable) 用于存放运行时需要改变数据的文件 二、linux 常用命令 命令格式：命令 - 选项 参数 （选项和参数可以为空） 如：ls -la /usr 2.1 操作文件及目录 2.2 系统常用命令 2.3

1 显示当前工作目录 pwd 2 查看目录下的所有内容 ls ls -l 以列方式查看 ls -a 显示所有内容（包括隐藏内容） ls var 显示var目录下的内容 3 切换目录 cd +路径 4 清屏 clear 5 修改登录密码 　　　　　　　　 password 修改root账户的密码 password 用户名 修改指定账户的密码 6 创建文件夹 mkdir 文件夹名称 mkdir 文件夹名称1 文件夹名称2 在当前目录下创建多个文件夹 mkdir 创建多级目录 mkdir -p hello/a 7 删除文件夹 rmdir 文件夹名称 rmdir 文件夹名称 文件夹名称 rmdir 只能删除空文件夹 8 创建一个空白文件 touch 文件名 touch 文件名 文件名 同时创建多个 9 删除文件 unlink 文件名 一次只能删除一个 10 删除文件或文件夹 rm a.txt 先提示 删除 rm -f a.txt b.txt 不提示 删除 rm -r hello rm -rf 文件夹 文件 rm -rf *.* 删除当前目录下所有文件 rm -rf * 清空当前目录 注意：谨慎使用rm -rf 命令 11 复制文件 cp a.txt hello/a.txt cp c.txt hello/ccc.txt 复制并重命名 注意：cp只能复制文件 12 移动文件 mv a.txt

当一个文件夹里有数百个文件，比如是100多个excel文件，我们需要把这些文件名全部整理成一个文旦，最Low的方法，应该是一个一个打出来；稍微好一点，就是鼠标先选中一个文件，再点击一次，快捷键复制文件名，然后再文本文档中粘贴，循环反复。其实最简单的我们有非常简单的方法，能秒速完成这种繁复的操作。那就是bat命令。 1、首先新建一个文本文档 2、打开TXT文件编辑输入 “dir /a-d /b *.xls>src.txt” 如果是视频文件可以修改成“dir /a-d /b *. MP4 >src.txt” 3、修改TXT后缀为.bat 文件 4、双击.bat文件运行 5、运行完成之后所有文件名都会保存到新生成的“src.txt”文件 6、双击“src.txt”文件查看自动生成的文件名汇总，这样就可以看到所有的.xlsx文件名了 来源： https://www.cnblogs.com/MrJason/p/8610639.html

【渗透整理】Linux命令基础(1) 1、系统操作 1、【sync】把内存中的数据写到磁盘中（关机或者重启前都需先执行sync） 2、【shutdown -r now】立即重启 3、【reboot】立即重启 4、【shutdown -h now】立即关机 5、【shutdown -h 20：00】定时晚上20：00关机 6、【shutdown -h + 10】10分钟后关闭系统 7、【whoami】查看当前操作的用户 8、【who】查看所有的终端 9、【uname -r】显示正在使用的内核版本 10、【uname -m】显示机器的处理器架构（如X86_64） 11、【lsb_release -a】显示系统发行版本 12、【date】显示时间日期 13、【cal 2019】显示2019年的日历 14、【cat /proc/cpuinfo】显示cpu信息 15、【top】动态显示cpu，内存，进程等使用状况（windows任务管理器） 16、【clear】清空命令行 17、【ps】显示当前进程 ps -aux 显示进程所有信息 2、新建操作 1、【mkdir +文件名】新建一个文件夹（目录） 2、【touch + 文件名】新建一个文件（touch abc.sh 新建一个abc.sh文件） 3、【echo “abc” > test.txt】新建一个test.txt文件，并写入“abc”

项目常用配置 在项目的 setting.py 配置文件中，进行项目相关配置的修改。 1. BASE_DIR 当前项目的根目录，Django会依此来定位工程内的相关文件，我们也可以使用该参数来构造文件路径。 2. DEBUG · 含义：是否为调试模式（开发模式），默认为True · 作用：当DEBUG为True时，如果Django程序运行出现异常时，会在浏览器显示详细的出错调试信息 （如下图），而非调试模式下，不会显示出错调试信息： 【重要】项目运行出错了,需要查看是哪一行代码造成出错，再进行分析解决 · 注意： 项目上线应该设置为False关闭调试模式，并且要同时设置 ALLOWED_HOSTS参数 3. 本地语言与时区 项目本地化配置 · Django支持本地化处理，即显示语言和时区 · 新创建的Django项目，默认使用的语言为英语，时区为UTC标准时区 · 配置修改：将语言和时区修改为中国大陆信息 4. APP应用配置 4.1. 在每个应用目录中都包含了apps.py文件，用于保存该应用的相关信息 4.2. 在创建应用时，Django会向apps.py文件中写入一个该应用的配置类，如下： 4.3. 应用配置：需要在项目配置文件settings.py中的INSTALLED_APPS列表中，注册创建出来的应用， 示例： 配置说明 · 用pycharm创建的项目

1、命令格式 命令 [-选项] [参数] 说明：1）、个别命令不一定遵循这个格式 2）、有多个选项时，可以写在一起 3）、简化选项和完整选项 2、目录处理命令：ls 英文原译：list 所在路径：/bin/ls 执行权限：所有用户 功能描述：显示目录文件 语法：ls [-选项] [文件或目录] -a显示所有文件，包括隐藏文件 -lh详细信息显示 -d查看目录属性 -i查看i节点 文件类型： 进制文件 d目录 l软链接 Linux常用基础操作命令大全（超实用精心整理） 3、目录处理命令：mkdir 英文原译：make directories 所在路径：/bin/mkdir 执行权限：所有用户 功能描述：创建新目录 语法： mkdir [-p] [目录名] -p递归创建 Linux常用基础操作命令大全（超实用精心整理） 4、目录处理命令：cd 英文原译：change directory 所在路径：shell内置命令 执行权限：所有用户 功能描述：切换目录 语法： cd [目录] cd … 回到上一级目录 5、目录处理命令：pwd 英文原译：print working directory 所在路径：/bin/pwd 执行权限：所有用户 功能描述：显示目录路径 语法： pwd Linux常用基础操作命令大全（超实用精心整理） 6、目录处理命令：rmdir 英文原译：remove empty

1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 s 遍历文件a，对每个url求取 ，然后根据所取得的值将url分别存储到1000个小文件（记为 ）中。这样每个小文件的大约为300M。 s 遍历文件b，采取和a相同的方式将url分别存储到1000各小文件（记为 ）。这样处理后，所有可能相同的url都在对应的小文件（ ）中，不对应的小文件不可能有相同的url。然后我们只要求出1000对小文件中相同的url即可。 s 求每对小文件中相同的url时，可以把其中一个小文件的url存储到hash_set中。然后遍历另一个小文件的每个url，看其是否在刚才构建的hash_set中，如果是，那么就是共同的url，存到文件里面就可以了。 方案2：如果允许有一定的错误率，可以使用Bloom filter，4G内存大概可以表示340亿bit。将其中一个文件中的url使用Bloom filter映射为这340亿bit，然后挨个读取另外一个文件的url，检查是否与Bloom filter，如果是，那么该url应该是共同的url（注意会有一定的错误率）。 2. 有10个文件，每个文件1G

1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 s 遍历文件a，对每个url求取 ，然后根据所取得的值将url分别存储到1000个小文件（记为 ）中。这样每个小文件的大约为300M。 s 遍历文件b，采取和a相同的方式将url分别存储到1000各小文件（记为 ）。这样处理后，所有可能相同的url都在对应的小文件（ ）中，不对应的小文件不可能有相同的url。然后我们只要求出1000对小文件中相同的url即可。 s 求每对小文件中相同的url时，可以把其中一个小文件的url存储到hash_set中。然后遍历另一个小文件的每个url，看其是否在刚才构建的hash_set中，如果是，那么就是共同的url，存到文件里面就可以了。 方案2：如果允许有一定的错误率，可以使用Bloom filter，4G内存大概可以表示340亿bit。将其中一个文件中的url使用Bloom filter映射为这340亿bit，然后挨个读取另外一个文件的url，检查是否与Bloom filter，如果是，那么该url应该是共同的url（注意会有一定的错误率）。 2. 有10个文件，每个文件1G