Crawler

技术博客的可读性非常重要，这也是技术博客写作的重要原则。 电脑系统是kali linux2018.1版本，64位 burpsuite_pro_v1.7.11破解版（含下载） 链接：http://www.freebuf.com/sectool/121992.html 虽然我很支持使用正版，但是如果有破解版可以尝试入门，实在是太好了。 除了这个连接，还有独自等待博客 BurpSuitePro v1.7.31及注册机下载 链接：https://www.waitalone.cn/burpsuite1731-keygen.html BurpSuitePro v1.7.32及注册机下载 链接：https://www.waitalone.cn/burpsuite-v1732.html 我想这些完全足够使用了。 我用的是第一个下载源，下载解压，编写脚本命名为burp.sh，脚本所在文件夹启动脚本即可sh burp.sh，默认安装就好。 #!/bin/bash java -jar /root/burpsuite/BurpHelper.jar 这里不说如何使用，因为这个工具的使用是有很多可以研究的。这里想说说上面的英语单词的意思，因为这个是全英文版的。 burp suite官方网站：https://portswigger.net/burp/，社区免费版，专业版两种可以选择，后者是每年每人349美元。

点击上方“ Python爬虫与数据挖掘 ”，进行关注 回复“ 书籍 ”即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 一腔热血勤珍重，洒去犹能化碧涛。 1.图片来源 该图片来源于百度图片，如果侵权，请联系我删除！图片仅用于知识交流。本文只是为了告诉大家：python其实有很多黑科技(牛逼的库)，我们既可以用python处理工作中的一些事儿，同时我们也可以利用python做一些有趣的事儿。 2.读取图片并显示 imread()：读取图片； imshow()：展示图片； waitkey()：设置窗口等待，如果不设置，窗口会一闪而过； import cv2 import numpy as np # 读取照片 img=cv2.imread( 'girl.jpg' ) # 显示图像 cv2.imshow( 'img' ,img) # 窗口等待的命令，0表示无限等待 cv2.waitKey( 0 ) 效果如下： 3.图片缩放 resize()：图片缩放，其中fx和fy表示缩放比例，0.5表示缩放为以前的 一半。 import cv2 import numpy as np # 读取照片 img=cv2.imread( 'girl.jpg' ) # 图像缩放 img = cv2.resize(img, None ,fx= 0.5 ,fy= 0.5 ) rows,cols

目前没有找到能在vscode中使用的办法... 建议还是cmder吧, 不要瞎折腾了 还是gg好啊, 找了一会就找到了, 浪费我几个小时用bing和百度... 原文链接: vscode 中使用新windows terminal 并修改主题 https://docs.microsoft.com/zh-cn/windows/terminal/ https://github.com/microsoft/terminal https://iterm2colorschemes.com/ https://windowsterminalthemes.dev/ https://medium.com/analytics-vidhya/how-to-replace-external-terminal-in-visual-studio-code-with-the-new-windows-terminal-66e8460f2d31 cmder太慢了...所以想试试windows terminal 安装 直接在应用商店安装就行 这个看着是触摸板和手写板的问题 修改配置文件 ~\AppData\Local\Packages\Microsoft.WindowsTerminal_8wekyb3d8bbwe\RoamingState\profiles.json 主题切换 https://github.com

点击上方“ Python爬虫与数据挖掘 ”，进行关注 回复“ 书籍 ”即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 近乡情更怯，不敢问来人。 一、前言 大家好，我是崔艳飞。接到项目求助，需要对上千个文件夹中的文件进行压缩处理，并要删除源文件，只保留压缩后的压缩文件，数据量大，手动完成耗时耗力，用Python处理再合适不过了。 二、项目目标 批量对文件夹的内容进行压缩处理，满足客户要求。 三、项目准备 软件：PyCharm 需要的库：os， shutil，zipfile 四、项目分析 1）如何读取源文件？ 利用OS库，获取文件夹名list，利用for循环，轻松拿到要压缩的源文件。 2）如何进行压缩处理？ 利用zipfile库中的zipfile.ZipFile()对获取到的文件进行压缩处理。 3）如何删除源文件？ 先利用os库的remove()删除文件，再利用shutil库的rmtree()删除空文件夹。 五、项目实现 1、第一步导入需要的三个库 import os as os import shutil import zipfile 2、第二步定义删除文件函数和压缩文件函数 def del_ (rootdir) : filelist = [] filelist = os.listdir(rootdir) # 列出该目录下的所有文件名 for f in

Oxylabs代理 总部位于立陶宛维尔纽斯的Oxylabs是一家发展迅速的高级代理供应商，为公开的网络数据收集提供市场领先的解决方案，恪守职业道德。丰富的实践经验、创新的技术解决方案和强大的核心价值是Oxylabs在 网络数据收集行业 呈 指数级增长 的引导力量。 最近一些朋友苦于找不到抓取大量数据时需要的稳定代理，向我们咨询我们有没有好的解决方案。于是我们根据最近的业务需求整理出了几个方向下需要用到的 代理和工具 。希望能帮助用户节约更多的时间。 首先要说的是数据中心代理。因为其支持的并行数比较多，且支持在 短期内爬取大量数据 。很适合用来做 调研、电商和安全类的工作 。下面我们就来看看数据中心代理的特点。 数据中心代理 Oxylabs的数据中心代理提供稳定快速的网速，旨在满足各行各业的需求，Oxylabs拥有专业的专用代理IP池（超过200万）来自82个地区，以及近8,000个子网。我们的专用代理提供迅速的响应时间，因为每个数据中心代理一次只分配给一个用户。 主要特点： 超过200万个IP 遍布全球82个地区 99.99%上线率 极为快速且稳定 无限数量 的可选择目标、带宽和并行会话 卓越的性能和可靠性 使用场景 ： 市场调研、电子商务、品牌保护、邮件保护、网络安全。 如果数据中心代理的最大特点是快，那么 住宅代理的最大特点就是稳 。因为住宅代理模拟的真实的住宅用户

点击上方“ Python爬虫与数据挖掘 ”，进行关注 回复“ 书籍 ”即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 弃我去者，昨日之日不可留。 周末愉快，欢迎小伙伴积极学习，文末有 《 Python数据分析 》5本书籍的送书活动 ，记得参与噢~ 为了避免由于一些网络或等其他不可控因素，而引起的功能性问题。 比如在发送请求时，会因为网络不稳定，往往会有请求超时的问题。 这种情况下，我们通常会在代码中加入重试的代码。重试的代码本身不难实现，但如何写得优雅、易用，是我们要考虑的问题。 这里要给大家介绍的是一个第三方库 - Tenacity （标题中的重试机制并并不准确，它不是 Python 的内置模块，因此并不能称之为机制），它实现了几乎我们可以使用到的所有重试场景，比如： 在什么情况下才进行重试？ 重试几次呢? 重试多久后结束？ 每次重试的间隔多长呢？ 重试失败后的回调？ 在使用它之前 ，先要安装它 $ pip install tenacity 1. 最基本的重试 无条件重试，重试之间无间隔 from tenacity import retry @retry def test_retry () : print( "等待重试，重试无间隔执行..." ) raise Exception test_retry() 无条件重试，但是在重试之前要等待 2 秒 from

需要学习的地方： 1.Scrapy框架流程梳理，各文件的用途等 2.在Scrapy框架中使用MongoDB数据库存储数据 3.提取下一页链接，回调自身函数再次获取数据 重点：从当前页获取下一页的链接，传给函数自身继续发起请求 next = response.css('.pager .next a::attr(href)').extract_first() # 获取下一页的相对链接 url = response.urljoin(next) # 生成完整的下一页链接 yield scrapy.Request(url=url, callback=self.parse) # 把下一页的链接回调给自身再次请求 站点:http://quotes.toscrape.com 该站点网页结构比较简单，需要的数据都在div标签中 操作步骤： 1.创建项目 # scrapy startproject quotetutorial 此时目录结构如下： 2.生成爬虫文件 # cd quotetutorial # scrapy genspider quotes quotes.toscrape.com # 若是有多个爬虫多次操作该命令即可 3.编辑items.py文件，获取需要输出的数据 import scrapy class QuoteItem(scrapy.Item): # define the fields

1.创建scrapy项目 dos窗口输入: scrapy startproject quote cd quote 2.编写item.py文件(相当于编写模板,需要爬取的数据在这里定义) import scrapy class QuoteItem(scrapy.Item): # define the fields for your item here like: text = scrapy.Field() author = scrapy.Field() tags = scrapy.Field() 　　 3.创建爬虫文件 dos窗口输入: scrapy genspider myspider quotes.toscrape.com 4.编写myspider.py文件(接收响应,处理数据) # -*- coding: utf-8 -*- import scrapy from quote.items import QuoteItem class MyspiderSpider(scrapy.Spider): name = 'myspider' allowed_domains = ['quotes.toscrape.com'] start_urls = ['http://quotes.toscrape.com/'] def parse(self, response): for each in

一：爬取思路 首先我们应该找到一个账号，这个账号被关注的人和关注的人都相对比较多的，就是下图中金字塔顶端的人，然后通过爬取这个账号的信息后，再爬取他关注的人和被关注的人的账号信息，然后爬取被关注人的账号信息和被关注信息的关注列表，爬取这些用户的信息，通过这种递归的方式从而爬取整个知乎的所有的账户信息。整个过程通过下面两个图表示： 二：爬虫过程分析 这里我们找的账号地址是： https://www.zhihu.com/people/excited-vczh/answers 下图是大V的主要信息： 然后我们获取他关注的人和关注他的人的信息： 这里我们需要通过抓包分析如果获取这些列表的信息以及用户的个人信息内容 当我们查看他关注人的列表的时候我们可以看到他请求了如下图中的地址，并且我们可以看到返回去的结果是一个json数据，而这里就存着一页关乎的用户信息。 上面虽然可以获取单个用户的个人信息，但是不是特别完整，这个时候我们获取一个人的完整信息地址是当我们将鼠标放到用户名字上面的时候，可以看到发送了一个请求： 我们可以看这个地址的返回结果可以知道，这个地址请求获取的是用户的详细信息: 通过上面的分析我们知道了以下两个地址： 1关注列表：https://www.zhihu.com/api/v4/members/excited-vczh/followees?include=data%5B*

总被读者问到，我看完了python入门的书，后面就不知道要学什么了。今天就给你们整理全套入门到进阶的教程。 这套教程非常全面而且详细，从 Python入门 到 Python进阶 、 Django 、 Flask等Web框架以及爬虫、数据库、算法与数据结构 等方面均有涉及，几乎覆盖了Python 基础及进阶的方方面面。 让你学完之后能独立完成一个完整的项目。 简明Python入门教程 Python进阶教程 Django入门与实践 用 Flask 从零开始搭建网站 Linux操作系统 HTTP入门指南 MySQL数据库面试汇总 520道LeetCode算法刷题 245道Python面试题 现在以上全套教程和思维导图均可免费获取。 如何获取？ 1. 识别并关注公众号「 秦子帅 」； 2. 在下面公众号后台回复关键字「 教程 」。 👆 长按上方二维码 2 秒 回复「 教程 」即可获取资料 额外福利 今天给大家分享一份 11 月刚刚出炉的《TensorFlow 2.0 深度学习算法实战》中文版教材。 所有的项目都是 基于TensorFlow 2.0实战。 获取方法 《TensorFlow 2.0 深度学习算法实战》中文版教材电子版 pdf 已经打包好，获取步骤如下： 1. 扫描下方二维码 2. 后台回复关键词： TF2 👆长按上方二维码 2 秒 回复「 TF2 」即可获取资料