gecko

前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 加企鹅群695185429即可免费获取，资料全在群文件里。资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等 本期，笔者通过Python实现对大麦网近期全国演唱会数据进行爬取，通过分析，我们发现大麦网属于Python爬虫策略中“中等型”难度网站，演唱会数据封装在json文件中。因此，我们简单的通过requests、json就可以将数据爬取出来，后期通过pandas进行数据筛选并保存至Excel文件中。 1.目标网站分析 检查一下看xhr中有没有我们需要的数据。 很好，就在xhr中用json封装了数据。 2.构造相应的Request URL request url中只有一个参数变化，那就是“Page=”这个选项变了，简单了😄，一共6页，直接循环构造了。 for i in range(1,7 ): url =f ' https://search.damai.cn/searchajax.html?keyword=&cty=&ctl=%E6%BC%94%E5%94%B1%E4%BC%9A&sctl=&tsg=0&st=&et=&order=1&pageSize=30&currPage={i}&tn= ' # print(url) 3

公司自动开始用钉钉后，企业的相关信息化软件开始使用钉钉上的应用程序。与销售公司相关的就是CRM系统。 CRM系统中客户是私人的，如果想多个人同时负责，需要添加客户负责人。由于公司的特殊性质，客户特别多，经常会有人要求增加客户负责人。每天都有几个小时在做这样的工作。钉钉消息、添加负责人，太繁琐了。 学以致用，开发个工具自动化处理任务。 闲话少说，开干。 设计思路 确认CRM是否有自动添加客户负责人的接口 确认钉钉的审批接口是否可以使用 确认接口数据都能拿到后，后台写个服务即可。 CRM 系统分配用户 1 、采集客户信息 分配客户负责人是通过客户的dataid来处理的，首先需要采集客户信息。幸好以前有定时服务采集客户信息。跳过 2 、分配客户负责人接口 客户负责人分配才是这次的自动化处理的关键，通过查看CRM的API接口。可以实现，按照下面的代码执行即可。 public static void ReqDistributionCustomer( string datatids, string distributionUserIds, string userid, string corpid, string token, Action< string > SuccessCallback = null , Action< string > FailCallback = null ) {

HAProxy 高级应用 ================================================================================ 概述： 本章将继续上章的内容介绍haprosy代理配置段的相关参数，具体如下： ACL控制访问列表； 4层检测机制： dst，dst_port，src，src_port 7层检查机制：path、req.hdr、res.hdr； http层访问控制相关的参数： block，http-request TCP层的访问控制参数 ================================================================================ 10.修改请求或响应报文首部相关： ★ option forwardfor [ except <network> ] [ header <name> ] [ if-none ] ⊙ 作用： AProxy把请求报文发往后端主机之前在请求报文添加“X-Forwared-For”首部；其值为客户端地址， ⊙ 范围： 都可以使用 ⊙ 参数： [ except <network> ]： 除了xxx不添加外，如从本地访问 [ header <name> ] ： 可以自定义首部名称； [ if-none ]： 没有首部时才添加

前言 老司机带你去看车，网上的几千条的二手车数据，只需几十行代码，就可以统统获取，保存数据到我们本地电脑上 知识点： 1.python基础知识 2.函数 3.requests库 4.xpath适合零基础的同学 环境： windows + pycharm + python3 爬虫流程： 1.目标网址 2. 发送请求，获取响应 3. 解析网页 提取数据 4. 保存数据 加企鹅群695185429即可免费获取，资料全在群文件里。资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等 步骤： 1.导入工具 import io import sys import requests # pip install requests from lxml import etree # pip 2.获取汽车详情页面的url，解析网站 def get_detail_urls(url): # 目标网址 # url = 'https://www.guazi.com/cs/buy/o3/' # 发送请求，获取响应 resp = requests.get(url,headers= headers) text = resp.content.decode( ' utf-8 ' ) # 解析网页 html = etree.HTML(text) ul = html.xpath( ' //ul[

一、网页的组成 网页由文字、图片、输入框、视频、音频、超链接等组成。 二、html，css，js的区别 Html 结构标准 相当于人的身体，只有架构 有结构 Css 表现标准 相当与给人化妆 变的更漂亮 有衣服 Js 行为标准 相当于人在唱歌，页面更灵动 动起来 三、常用浏览器 1.IE 火狐 谷歌 猎豹 Safari opera 2 . 浏览器内核 ：也就是浏览器所采用的渲染引擎，渲染引擎决定了浏览器如何显示网页的内容，即浏览器的 格式信息（浏览器的兼容性问题） IE 谷歌/欧鹏 火狐 苹果 trident blink gecko webkit 四、浏览器和服务器之间的关系 浏览器通过http协议向服务器发送报文，服务器通过解析之后，响应报文，返回给浏览器。 五、常用快捷键 Ctrl+c 复制 Ctrl+v 粘贴 Ctrl+s 保存 ctrl+x 剪切 ctrl+z 撤销一步 windows+d 返回桌面 windows+e 打开我的电脑 windows+r 打开运行 alt+tab 切换软件 ctrl+tab 软件文档之间的切换 f2 重命名 f5 刷新页面（制作网页的时候经常用） 六、HTML 1. html ( Hyper text markup language ) 超文本标记语言。 超文本：超链接。（实现页面跳转） 2. html结构标准 < ! doctype

什么是测试校验？ ​协作开发，版本升级，服务器升级，接口返回有可能因为一些bug，和我们预期结果不一致。为了便于开发&测试人员能够更快的发现bug，有利于整个产品质量以及进度的保证。我们推出测试校验功能。 如何使用测试校验？ 1. 定义测试用例 2. 验证测试用例 例： 接口返回： { "errcode": 0, "errstr": "success", "post": [], "get": [], "request": [], "put": "", "header": { "Host": "echo.apipost.cn", "Connection": "keep-alive", "Content-Length": "0", "Accept": "application/json, text/javascript, */*; q=0.01", "Accept-Encoding": "gzip, deflate, br", "Accept-Language": "zh-CN", "Content-Type": "application/json", "Cookie": "PHPSESSID=n3k73k06o6ghnie4e9re4rbf0t", "Origin": "https://echo.apipost.cn", "User-Agent": "Mozilla/5.0

爬虫简介 什么是爬虫？ 爬虫：就是抓取网页数据的程序。 HTTP和HTTPS HTTP协议（HyperText Transfer Protocol，超文本传输协议）：是一种发布和接收 HTML页面的方法。 HTTPS（Hypertext Transfer Protocol over Secure Socket Layer）简单讲是HTTP的安全版，在HTTP下加入SSL层。 SSL（Secure Sockets Layer 安全套接层）主要用于Web的安全传输协议，在传输层对网络连接进行加密，保障在Internet上数据传输的安全。 浏览器发送HTTP请求的过程： 当用户在浏览器的地址栏中输入一个URL并按回车键之后，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为“Get”和“Post”两种方法。 当我们在浏览器输入URL http://www.baidu.com 的时候，浏览器发送一个Request请求去获取 http://www.baidu.com 的html文件，服务器把Response文件对象发送回给浏览器。 浏览器分析Response中的 HTML，发现其中引用了很多其他文件，比如Images文件，CSS文件，JS文件。 浏览器会自动再次发送Request去获取图片，CSS文件，或者JS文件。 当所有的文件都下载成功后，网页会根据HTML语法结构

Handler和Opener Handler处理器和自定义Opener opener是urllib2.OpenerDirector的实例，我们之前一直在使用urlopen，它是一个特殊的opener(也就是我们构建好的)。 但是urlopen()方法不支持代理、cookie等其他的HTTP/GTTPS高级功能。所有要支持这些功能： 　　1.使用相关的Handler处理器来创建特定功能的处理器对象； 　　2.然后通过urllib2.build_opener()方法使用这些处理器对象，创建自定义opener对象； 　　3.使用自定义的opener对象，调用open()方法发送请求。 如果程序里所有的请求都使用自定义的opener,可以使用urllib2.install_open()将自定义的opener对象定义为全局opener,表示如果之后凡是调用urlopen,都将使用这个opener(根据自己的需求来选择) 简单的自定义opener() # _*_ coding:utf-8 _*_ import urllib2 # 构建一个HTTPHandler处理器对象，支持处理HTTP的请求 http_handler = urllib2.HTTPHandler() # 调用build_opener()方法构建一个自定义的opener对象，参数是构建的处理器对象 opener =

常见的兼容性问题 浏览器有着大量不同的版本，不同种类的浏览器的内核也不尽相同，所以不同浏览器对代码的解析会存在差异，这就导致对页面渲染效果不统一的问题。 初始化样式 因浏览器兼容的问题，不同的浏览器对标签的默认样式值不同，如果不初始化会造成不同浏览器之间的显示差异，布局出现错乱，所以要初始化样式，达到统一的布局。 最粗暴的方案就是使用 * 初始化样式，但是其会对于所有的标签加载样式以及计算样式优先级，可能会对性能有所影响。 * { margin: 0; padding: 0; } 通常使用 Normalize.css 抹平默认样式差异，当然也可以根据样式定制自己的 reset.css 。 <link href="https://cdn.bootcss.com/normalize/7.0.0/normalize.min.css" rel="stylesheet"> 内核样式兼容 在 CSS3 标准还未确定时，部分浏览器已经根据最初草案实现了部分功能，为了与之后确定下来的标准进行兼容，所以每种浏览器使用了自己的私有前缀与标准进行区分，当标准确立后，各大浏览器将逐步支持不带前缀的 CSS3 新属性，目前已有很多私有前缀可以不写了，但为了兼容老版本的浏览器，可以仍沿用私有前缀和标准方法，逐渐过渡。 内核 代表浏览器 前缀 Trident IE浏览器 -ms Gecko Firefox

Http基础解析 ** 概念**：Hyper Text Transfer Protocol 超文本传输协议 * 传输协议：定义了，客户端和服务器端通信时，发送数据的格式 * 特点： 1. 基于TCP/IP的高级协议 2. 默认端口号:80 3. 基于请求/响应模型的:一次请求对应一次响应 4. 无状态的：每次请求之间相互独立，不能交互数据 历史版本： * 1.0：每一次请求响应都会建立新的连接 * 1.1：复用连接 请求消息数据格式 请求行 请求方式 请求url 请求协议/版本 GET /login.html HTTP/1.1 请求方式： HTTP协议有7中请求方式，常用的有2种 GET： 请求参数在请求行中，在url后。 请求的url长度有限制的 不太安全 POST： 请求参数在请求体中 请求的url长度没有限制的 相对安全 请求头：客户端浏览器告诉服务器一些信息 请求头名称: 请求头值 常见的请求头： User-Agent：浏览器告诉服务器，我访问你使用的浏览器版本信息 可以在服务器端获取该头的信息，解决浏览器的兼容性问题 Referer： http://localhost/login.html 告诉服务器，我(当前请求)从哪里来？ 作用： 防盗链： 统计工作： 请求空行 空行，就是用于分割POST请求的请求头，和请求体的。 请求体(正文)： 封装POST请求消息的请求参数的