KHTML

一、静态爬取页面信息 有道翻译网址： http://fanyi.youdao.com/ 在翻译中输入 python 找到接口和请求的方式 参数是 From Data类型 需要把参数数据转换为字典， 复制粘贴后按住 Ctrl + r ，然后 Headers 内容的长度是data 携带参数的长度 代码实现 分析：红色圈住的，是会根据要翻译的内容变化而变化 运行结果： 代码： import requests import json # 定义爬取url地址 base_url = ' http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule ' # 定义请求参数 data = { ' i ' : ' python ' , ' from ' : ' AUTO ' , ' to ' : ' AUTO ' , ' smartresult ' : ' dict ' , ' client ' : ' fanyideskweb ' , ' salt ' : ' 15508011658043 ' , ' sign ' : ' 8f6d849c13cec811c6b7ab6d0ad41eb6 ' , ' ts ' : ' 1550801165804 ' , ' bv ' : '

前言 在招聘信息上，会提及工作的职位，不过大多描述是笼统的，还需要我们去了解工作的具体内容和性质。要知道，在不同的公司，同样的职位做的事情也是不一样的，工作方法更是大相径庭。所以，要尽可能详细地了解你所投递的职位的具体工作内容、要求。在了解清楚一切后，才能判断出这个职位是否与你的专业、能力、兴趣等相契合。 拉勾招聘是专业的互联网求职招聘平台。致力于提供真实可靠的互联网招聘求职找工作信息。 今天我们一起使用 python 采集拉钩的 python 招聘信息，分析一下找到高薪工作需要掌握哪些技术。 开发环境： 1. 解释器： Python 3.6.5 | Anaconda, Inc. 2. 编辑器： pycharm 社区版 然后信心满满的 ennn 翻车了 不怕，再来！！！ 步骤 导入模块： import requests import pprint 正常的情况下，确定爬取的url路径，headers参数就行了，但是有反爬 加上防盗链，Origin，Host参数，还是不行，所以可能就是Cookie的问题了。 还要构建 ip 池 代码如下 def get_cookie(): # 获取服务器返回的 cookie url = ' https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput= '

前言 老司机带你去看车，网上的几千条的二手车数据，只需几十行代码，就可以统统获取，保存数据到我们本地电脑上 知识点： 1.python基础知识 2.函数 3.requests库 4.xpath适合零基础的同学 环境： windows + pycharm + python3 爬虫流程： 1.目标网址 2. 发送请求，获取响应 3. 解析网页 提取数据 4. 保存数据 加企鹅群695185429即可免费获取，资料全在群文件里。资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等 步骤： 1.导入工具 import io import sys import requests # pip install requests from lxml import etree # pip 2.获取汽车详情页面的url，解析网站 def get_detail_urls(url): # 目标网址 # url = 'https://www.guazi.com/cs/buy/o3/' # 发送请求，获取响应 resp = requests.get(url,headers= headers) text = resp.content.decode( ' utf-8 ' ) # 解析网页 html = etree.HTML(text) ul = html.xpath( ' //ul[

前言 老司机带你去看车，网上的几千条的二手车数据，只需几十行代码，就可以统统获取，保存数据到我们本地电脑上 知识点： 1.python基础知识 2.函数 3.requests库 4.xpath适合零基础的同学 环境： windows + pycharm + python3 爬虫流程： 1.目标网址 2. 发送请求，获取响应 3. 解析网页 提取数据 4. 保存数据 加企鹅群695185429即可免费获取，资料全在群文件里。资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等 步骤： 1.导入工具 import io import sys import requests # pip install requests from lxml import etree # pip 2.获取汽车详情页面的url，解析网站 def get_detail_urls(url): # 目标网址 # url = 'https://www.guazi.com/cs/buy/o3/' # 发送请求，获取响应 resp = requests.get(url,headers= headers) text = resp.content.decode( ' utf-8 ' ) # 解析网页 html = etree.HTML(text) ul = html.xpath( ' //ul[

现在视频链接一般为m3u8,找到m3u8地址就可以下载了 打开Chrome Developer工具，然后点击“网络”标签。 导航到包含视频的页面，然后开始播放。 将文件列表过滤为“ m3u8”。 找到master.m3u8或index.m3u8并单击它。 将文件保存到磁盘并在其中查看。 如果文件包含一个m3u8主URL，则复制该URL。 使用ffmpeg 工具下载m3u8视频 ffmpeg -i "https://secure.brightcove.com/services/mobile/streaming/index/rendition.m3u8?assetId=6138283938001&secure=true&videoId=6138277786001" -bsf:a aac_adtstoasc -vcodec copy -c copy -crf 50 6138277786001.mp4 Python下载代码 #!/usr/bin/env python3 import requests,urllib from bs4 import BeautifulSoup import os import subprocess pwd = os.path.split(os.path.realpath(__file__))[0] url = "https://www.topgear.com

爬取热门视频的bv号 爬取首页html const axios = require('axios') const url = 'https://www.bilibili.com/' const headers = { "accept": "*/*", "accept-language": "zh-CN,zh;q=0.9,en;q=0.8", "content-type": "application/x-www-form-urlencoded; charset=UTF-8", "sec-fetch-dest": "empty", "sec-fetch-mode": "cors", "sec-fetch-site": "same-site", "referrer": "https://www.bilibili.com", 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36', } const resp = axios.get(url, {headers}) resp.then( ({data}) => { console.log(data) } ) 根据dom,

b站经验获取 如何获得经验值？ 投币前 投币后 csrf对应的cookie字段 投币和点赞需要重写headers中的referer, 不然会出错, 即请求是由视频页面发出的 投币 // 投币 export async function coin(aid, multiply = 1, select_like = 0) { const url = "https://api.bilibili.com/x/web-interface/coin/add" headers['referer'] = `https://www.bilibili.com/video/${enc(aid)}` const data = { aid, // av的id号 multiply, // 硬币数目 select_like, // 是否同时喜欢 cross_domain: true, // 跨域 csrf } let resp = await axios.post( url, data, {headers}, ) return resp.data } 点赞 // 点赞 export async function like(aid, like = 1) { headers['referer'] = `https://www.bilibili.com/video/${enc(aid)}` const data = {

本次所以的要求来自： https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 前言 本次作业是爬取拉勾网python相关岗位的信息，通过爬取岗位id、城市、公司全名、福利待遇、工作地点、学历要求、工作类型、发布时间、职位名称、薪资、工作年限等数据并对其进行数据分析从而得出相应结论。 网页爬虫 1.代理IP 在爬取数据之前我们可以考虑使用代理ip进行爬取，所以这里我写了一段代码检测ip的有效性，这里我使用的是 西刺免费代理ip 进行测试。不过在测试中我发现可用的免费代理ip少之又少，并且时效性较短，用起来不太方便，所以如果有专门的爬虫需求的人可以考虑使用付费ip。 测试代理ip时效性代码如下： import requests import random proxies = { ' http ' : '' } def loadip(): url = ' https: // proxy.horocn.com / api / proxies?order_id = 3JXK1633928414619951 & num = 20 & format = text & line_separator = win & can_repeat = yes ' req = requests.get(url) date = req.json()

Scrapy 官方介绍是 An open source and collaborative framework for extracting the data you need from websites. In a fast, simple, yet extensible way. 意思就是 一个开源和协作框架，用于以快速，简单，可扩展的方式从网站中提取所需的数据。 环境准备 本文项目使用环境及工具如下 python3 scrapy mongodb python3 scrapy的安装就不再叙述 mongodb是用来存储数据的nosql非关系型数据库 官方下载地址 https://www.mongodb.com/download-center/community?jmp=docs mongodb图形化管理工具推荐使用nosqlmanager 项目创建 没错，我们还是挑软柿子捏，就爬取最简单的豆瓣电影top250 😂这个网站几乎是每个学习爬虫的人都会去爬取的网站，这个网站特别有代表性 话不多说，项目开始 创建scrapy项目需要在命令行中进行 切换到工作目录，然后输入指令 scrapy startproject douban 即创建成功，然后使用pycharm打开项目 首先看下目录结构 我们发现项目spiders中只有一个文件，放爬虫的地方怎么会只有一个__init__.py呢

Nginx 细说proxy_set_header $remote_addr和X-Forwarded-For 先来看下proxy_set_header的语法 语法: proxy_set_header field value; 默认值: proxy_set_header Host $proxy_host; proxy_set_header Connection close; 上下文: http, server, location 允许重新定义或者添加发往后端服务器的请求头。value可以包含文本、变量或者它们的组合。 当且仅当当前配置级别中没有定义proxy_set_header指令时，会从上面的级别继承配置。 默认情况下，只有两个请求头会被重新定义： proxy_set_header Host $proxy_host; proxy_set_header Connection close; proxy_set_header也可以自定义参数，如：proxy_set_header test paroxy_test; 如果想要支持下划线的话，需要增加如下配置： underscores_in_headers on; 可以加到http或者server中 语法：underscores_in_headers on|off 默认值：off 使用字段：http, server