网站目录

Python爬虫抓取纯静态网站及其资源 !这个项目挣了10k!

送分小仙女□ 提交于 2019-11-29 10:06:52
遇到的需求 前段时间需要快速做个静态展示页面,要求是响应式和较美观。由于时间较短,自己动手写的话也有点麻烦,所以就打算上网找现成的。 中途找到了几个页面发现不错,然后就开始思考怎么把页面给下载下来。\ 小编整理一套Python资料和PDF,有需要Python学习资料可以加学习群:631441315 ,反正闲着也是闲着呢,不如学点东西啦~~ 由于之前还没有了解过爬虫,自然也就没有想到可以用爬虫来抓取网页内容。所以我采取的办法是: 打开chrome的控制台,进入Application选项 找到Frames选项,找到html文件,再右键Save As... 手动创建本地的js/css/images目录 依次打开Frames选项下的Images/Scripts/Stylesheets,一个文件就要右键Save As... 这个办法是我当时能想到的最好办法了。不过这种人为的办法有以下缺点: 手工操作,麻烦费时 一不小心就忘记保存哪个文件 难以处理路径之间的关系,比如一张图片a.jpg, 它在html中的引用方式是images/banner/a.jpg,这样我们以后还要手动去解决路径依赖关系 然后刚好前段时间接触了一点python,想到可以写个python爬虫来帮我自动抓取静态网站。于是就马上动手,参考相关资料等等。 下面跟大家详细分享一下写爬虫抓取静态网站的全过程。 前置知识储备

五、传统IDC部署网站

南楼画角 提交于 2019-11-29 01:50:47
传统IDC部署网站 一、隐藏权限lasttr_chattr 二、特殊权限set_uid 三、特殊权限set_gid 四、特殊权限stick_bit 五、软链接文件 六、硬链接文件 一、隐藏权限lasttr_chattr chattr +i 无法修改文件的内容 chattr+a 不能更改删除重命名以及文件的内容 只能追加 可以touch 目录加i权限和文件加i权限是一样的 chattr +i +a -i -a lsattr -R -a -d 二、特殊权限set_uid set_uid可以临时拥有root用户所有者的权限,给一个文件设置set_uid权限的前提是它是一个二进制文件,而且是一个可执行的文件,如ls passwd都是一个二进制文件 三、特殊权限set_gid set_gid可以临时拥有所属组的权限,不仅仅可以作用在文件上,也可以作用在目录上,作用在文件上类似于set_uid,它可以让执行这个文件的普通用户临时拥有所属组的权限。作用在目录上的时候,当创建子目录和子文件的时候,创建的子目录和子文件和该目录的所属组保持一致 来源: https://blog.51cto.com/13292790/2434158

四、传统IDC部署网站

家住魔仙堡 提交于 2019-11-28 22:59:37
传统IDC部署网站 一、rm命令 二、环境变量PATH 三、CP命令 四、MV命令 五、cat、more、less、head、tail 六 文件或目录权限chmod 七、所有者所属组chown 八、umask 一、rm命令 rm可以删除文件及非空目录 rm -f 强制性删除而不去询问 history 可以查看上一次使用的命令 !tree就可以使用tree为前缀的命令 !touch同理 rm -r 删除目录 rm -rf 不提示全部删除 rm -rfv 可视化删除 二、环境变量PATH which可以查看命令的所在路径以及有没有别名 alias PATH是一个环境变量 里面有很多绝对路径 用:进行分割,在这些路径下面的命令可以直接用,不需要加目录路径 三、CP命令 原文件拷贝成目标文件 直接cp 拷贝目录需要加-r 和rm用法一样 拷贝的源没加/ 拷贝的目标没加/ 用cp的时候拷贝所有目录建议都加上/即使目录不存在 tree !$ 上一条命令的最后一条参数 !tree 上一条命令以tree开头的命令 cp也是一个别名 which cp 里面有个-i选项 它是一个安全选项 如果你使用cp拷贝一个文件它会问你是否覆盖 直接使用cp它带-i参数 使用/usr/bin/cp 它就不会询问你是否覆盖 如果拷贝目录的时候它不会询问你是否覆盖

四、传统IDC部署网站

£可爱£侵袭症+ 提交于 2019-11-28 22:59:36
传统IDC部署网站 一、rm命令 二、环境变量PATH 三、CP命令 四、MV命令 五、cat、more、less、head、tail 六 文件或目录权限chmod 七、所有者所属组chown 八、umask 一、rm命令 rm可以删除文件及非空目录 rm -f 强制性删除而不去询问 history 可以查看上一次使用的命令 !tree就可以使用tree为前缀的命令 !touch同理 rm -r 删除目录 rm -rf 不提示全部删除 rm -rfv 可视化删除 二、环境变量PATH which可以查看命令的所在路径以及有没有别名 alias PATH是一个环境变量 里面有很多绝对路径 用:进行分割,在这些路径下面的命令可以直接用,不需要加目录路径 三、CP命令 原文件拷贝成目标文件 直接cp 拷贝目录需要加-r 和rm用法一样 拷贝的源没加/ 拷贝的目标没加/ 用cp的时候拷贝所有目录建议都加上/即使目录不存在 tree !$ 上一条命令的最后一条参数 !tree 上一条命令以tree开头的命令 cp也是一个别名 which cp 里面有个-i选项 它是一个安全选项 如果你使用cp拷贝一个文件它会问你是否覆盖 直接使用cp它带-i参数 使用/usr/bin/cp 它就不会询问你是否覆盖 如果拷贝目录的时候它不会询问你是否覆盖

三、传统IDC部署网站

社会主义新天地 提交于 2019-11-28 20:26:27
一、克隆虚拟机 把正在使用的虚拟机关机 init0 找到工具-管理-克隆 然后一直下一步 克隆完成过后开机修改一下IP地址 vi /etc/sysconfig/network-scripts/ifcfg-ens33 修改完成重启网络配置 systemctl restart network 然后修改hostname hostnamectl set-hostname yylinux02 二、远程登录 1、putty选择需要复制的地方右键可以直接复制 2、xshell默认不能直接复制,需要设置 点击上面菜单栏工具选项 最下面一个选项 找到键盘和鼠标 向右按钮选择paste这个选项然后点击确定就可以复制粘贴了 3、xsell可以直接在连接状态下打开另外一个 可以选择排列方式 左右排列还是上下排列 3 putty秘钥认证 秘钥和密码都是一种认证方式 秘钥算是1对字符串 相当于钥匙和锁 1个加密1个解密 可以在客户端也就是自己电脑放私钥 可以在服务端也就是服务器上放公钥 点开puttygen 然后点击Generate 然后生成随机的字符串 然后可以设置密码也可以为空,但是为了安全还是选择设置密码 然后选择save公钥还是私钥 公钥可以直接复制 save public key 是公钥 save private key是私钥 然后在服务器上面创建目录 mkdir /root/.ssh 绝对路径

Hexo网站配置

戏子无情 提交于 2019-11-28 19:18:13
你可以在 _config.yml 中配置网站 站点 参数 描述 title 网站标题 subtitle 网站子标题 description 网站描述 author 网站所有者 language 网站语言。可用的语言在 这里 ,默认为 en timezone 网站时区。可用的时区在 这里 ,例:America/New_York, Japan, and UTC 链接 参数 描述 url 你的网站链接 root 你的 permalink 文章链接 格式 ,默认为::year/:month/:day/:title/ 目录 参数 描述 默认值 source_dir 源目录。放置文章的目录 source public_dir 发布目录。静态网页生成的目录 public tag_dir 标签目录 tags archive_dir 归档目录 archives category_dir 分类目录 categories code_dir Include code directory (subdirectory of source_dir) downloads/code i18n_dir i18n directory :lang skip_render Paths not to be rendered. You can use glob expressions for path matching 原文:

Linux就该这么学10学习笔记

纵然是瞬间 提交于 2019-11-28 10:59:54
参考链接: https://www.linuxprobe.com/chapter-10.html 网站服务程序 第1步 :把光盘设备中的系统镜像挂载到/media/cdrom目录。 [root@linuxprobe ~]# mkdir -p /media/cdrom [root@linuxprobe ~]# mount /dev/cdrom /media/cdrom mount: /dev/sr0 is write-protected, mounting read-only 第2步 :使用Vim文本编辑器创建Yum仓库的配置文件 [root@linuxprobe ~]# vim /etc/yum.repos.d/rhel7.repo [rhel7] name=rhel7 baseurl=file:///media/cdrom enabled=1 gpgcheck=0 第3步 :动手安装Apache服务程序。注意,使用yum 命令 进行安装时,跟在命令后面的Apache服务的软件包名称为httpd。如果直接执行yum install apache命令,则系统会报错。 [root@linuxprobe ~]# yum install httpd Loaded plugins: langpacks, product-id, subscription-manager ……………

CentOS 7 Apache服务的安装与配置

坚强是说给别人听的谎言 提交于 2019-11-27 20:46:29
一、Apache简介 Apache 是一个知名的开源Web服务器。 早期的Apache服务器由Apache Group来维护,直到1999年6月Apache Group在美国德拉瓦市成立了非盈利性组织的公司,即Apache软件基金会(Apache Software Foundation,ASF)。 网站需要web服务器来架构,网页设计美工人员(flash,dreamweaver,firework,photoshop等),网页开发人员(php,.net,jsp等),网站建立好后,需要我们维护,优化,排错,架构延伸扩容等。 简单点说就是我们如果要浏览一个网页的话,基本上所有的网站都使用的是http协议来进行数据传输的!至于怎么样传输,我们做为运维来说就没有必要去深究了,那是做html前端开发人员要去考虑的事情! Apache由内核、标准模块和第三方提供的模块三个层次组成。 通常Apache在默认安装时,只安装图中的1、2两部分。根据用户需要,用户可以通过修改配置去掉一些默认安装的标准模块;也可以通过修改配置安装一些默认不安装的模块。 同时,如果用户需要,也可以安装一些第三方提供的模块。 [survey.netcraft.net此网站会有每月份的世界上网站使用的WEB服务器的使用率统计](https://news.netcraft.com/archives/category/web

将Jexus+mono和网站一起通过Dockerfile打包到docker镜像

我怕爱的太早我们不能终老 提交于 2019-11-27 19:47:31
上次使用别人打包好的docker镜像,往里边加入文件,最终asp.net的docker容器化运行。 这次决定直接全新打包一个jexus+asp.net网站的docker包。 进入root目录,并在root目录下建立一个名称为docker的目录作为我们这次打包项目的基础目录。 #cd /root #mkdir docker #cd docker 首先准备.Net运行环境,下载jexus,下载jexus 5.8.3的专业版,该版本已经包含了Linux下的.Net运行时Mono,不需要再额外安装配置Mono,比较省事。 wget https://www.linuxdot.net/down/jexus-5.8.3-x64.tar.gz 然后准备网站目录,wwwroot,将网站目录cp到当前目录下。 jexus的配置文件位于jexus/siteconf目录下名为default。 网站的根目录默认为/var/www/default,我们这里把网站的根目录设置成/var/www/wwwroot,因此需要对配置文件进行修改。 其他的个性化配置的修改如:URL重写rewrite=/News/([(a-f)|(A-F)|(0-9)]{12})\.aspx /News/News.aspx?type=0&id=$1等等 ,多个URL重写就使用多个rewrite即可,每行一个。 运行环境,配置文件

32和64位的CentOS 6.0下 安装 Mono 2.10.8 和Jexus 5.0

心已入冬 提交于 2019-11-27 09:45:02
CentOS是一个基于RHEL的Linux发行版,其目的是为了提供一套免费与自由的企业等级Linux发行版。CentOS的名称来自于「Community ENTerprise Operating System」,从名称便可以知道这是一套由社区主导、并以企业级用户为主要目标的操作系统。 目前CentOS是网页服务器用途的主机中最广为使用的一套Linux发行版。根据统计,目前大约有30%的Linux服务器使用CentOS。许多书籍、网站在介绍Linux的操作方式时,也会援引CentOS作为操作接口。通常CentOS都会在RHEL推出新版本之后,经过一小段时间的修改与测试之后再推出新的版本,而其版本编号大多也会跟随RHEL的版本编号,例如目前最新版本的CentOS 6,其相对应的RHEL版本便是RHEL 6。 Mono 2.10.8 于已发布2011年12月19 发布,Jexus 5.0 最新版本是RC3 正式版本即将发布,带来很多新特性。Jexus web server for linux 是一款基于.NET兼容环境,运行于Linux/unix操作系统之上,以支持ASP.NET为核心功能的高性能WEB服务器。 Jexus V5.0有如下功能特点: 01、支持ASP.NET。这是Jexus的核心功能。不管是稳定性、易用性还是并发承载能力、并行处理速度,Jexus对ASP