mozilla

【Python网络爬虫整理记录 D:04】——关于爬虫伪装中常见headers参数详解以及常见错误代码及错误原因

血红的双手。 提交于 2020-02-27 11:18:50
文章目录 常见Headers参数详解 Accept Accept-Language Accept-Encoding Cookie Referer User-Agent Content-Type Origin 常见错误代码及错误原因 User-Agent集合(列表形式) 常见Headers参数详解 Accept 请求报头域,用于指定客户端可接受哪些类型的的信息 需要注意的是它只是建议服务器,而并非就是你写成什么他就返回给你什么。 Accept-Language 指定客户端可接受的语言类型 Accept-Encoding 指定客户端可接受的内容编码 需注意其中一个gzip编码,有时候爬取内容返回一直是乱码,问题可能会处在这个参数,它表示客户端可接受压缩后的内容。 Cookie 也常用复数形式Cookies。这是最重要的请求头信息之一。网站为了辨别用户进行会话跟踪二存储在用户本地的数据。一般可以直接复制,对于一些变化的可以选择构造。 Referer 当浏览器向web服务器发送请求的时候,一般会带上Referer,标识这个请求是从哪个页面链接过来的,服务器籍此可以获得一些信息用于处理。用于统计访问量、防盗链处理等。 User-Agent 向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。在做爬虫时加上此信息,可以伪装为浏览器;如果不加

Ubuntu火狐浏览器如何改为中文菜单

不羁的心 提交于 2020-02-26 10:23:59
Ubuntu火狐浏览器(Firefox)设置成中文,介绍两种方法来实现。 第一种方法:通过Linux命令来实现。 这种方法比较简单,直接输入命令就可以了。命令是: sudo apt-get install firefox-locale-zh-hans 然后重新启动火狐浏览器,就可以了,就这么简单。 第二种方法:通过在火狐浏览器中,下载组件安装。 1、首先打开火狐浏览器查看浏览器版本,通过 浏览器菜单栏--help--About Firefox ,查看版本号。 2、查看自己的Ubuntu是32位系统(linux-i686),还是64位系统(linux-x86_64),主要是为了在下一步选择目录。 3、 (1)在火狐浏览器输入:http://ftp.mozilla.org,按照我下面给的网址依次选择目录,语言包在xpi目录下,简体中文(zh-CN.xpi)/繁体(zh-TW.xpi)。 32位系统目录 :http://ftp.mozilla.org/pub/firefox/releases/63..0/linux-i686/xpi/ 64位系统目录 :http://ftp.mozilla.org/pub/firefox/releases/63.0/linux-x86_64/xpi/ (2)大家为了方便也可以直接拷贝下列链接到浏览器地址栏,安装。 32位系统目录 :http://ftp

查看各浏览器的内核

六眼飞鱼酱① 提交于 2020-02-26 09:16:52
如果你从事前台开发,那么肯定不能少的就是要熟悉各浏览器的内核,那么我们如何知道各浏览器的内核呢?那就得从window.navigator.userAgent入手了。 首先我们写一个自己的Browser对象。 (function(win){ var // Useragent RegExp rwebkit = /(webkit)[ \/]([\w.]+)/, ropera = /(opera)(?:.*version)?[ \/]([\w.]+)/, rmsie = /(msie) ([\w.]+)/, rmozilla = /(mozilla)(?:.*? rv:([\w.]+))?/, browserMatch, Browser = {}, userAgent = win.navigator.userAgent; function uaMatch(ua){ ua = ua.toLowerCase(); var match = rwebkit.exec( ua ) || ropera.exec( ua ) || rmsie.exec( ua ) || ua.indexOf("compatible") < 0 && rmozilla.exec( ua ) || []; return { browser: match[1] || "", version: match[2] || "0"

linux下的火狐flash 的安装

こ雲淡風輕ζ 提交于 2020-02-26 09:16:28
linux系统上用火狐浏览器看视频的时候发现没有安装flash player插件,无法播放视频。简单几步安装插件,就可以快乐地使用linux系统看视频了。 1.在下载的时候选择tar的规格下载,然后点download 2.由于这个是下载在tmp文件夹下,所以cd /tmp 进入tmp下 3.由于我的是安装在/tmp/mozilla-liuru0的目录下,所以还得进入mozilla下,解压缩 sudo tar -zx -f install_flash_player_11_linux.x86_64.tar.gz sudo cp libflashplayer.so /usr/lib/mozilla/plugins 复制插件到火狐浏览器插件文件夹 cd /usr/lib/mozilla/plugins 定位到插件目录 sudo chmod 755 libflashplayer.so 更改插件权限 4.升级完毕以后打开视频网站,这个时候会提示要你升级插件。不用理会,直接点击旁边没有文字的地方,视频就可以正常播放了 来源: https://www.cnblogs.com/future-liu1121/p/6505942.html

kali下firefox的安装

扶醉桌前 提交于 2020-02-26 09:15:04
在kali的系统中自带了一个firefox分支下的浏览器Iceweasel(Iceweasel是Mozilla Firefox浏览器的Debian再发布版),但是怎么说也配不上kali的强悍气势.还是安装原生的firefox好(ps:在我的另一篇文章里介绍了firefox里插件的强大功能). 1.添加支持firefox的安装源 deb http://downloads.sourceforge.net/project/ubuntuzilla/mozilla/apt all main echo -e "\ndeb http://downloads.sourceforge.net/project/ubuntuzilla/mozilla/apt all main"|sudotee-a/etc/apt/sources.list >/dev/null sudo apt-key adv --recv-keys--keyserver keyserver.ubuntu.com C1289A29 2.安装firefox sudo apt-get remove iceweasel apt-get update apt-get install firefox-mozilla-build 3.把firefox加到右上角显示 安装完成后可以在 Applications 的 Internet

火狐浏览器之伪造IP地址

若如初见. 提交于 2020-02-26 09:10:38
前言: 前段时间,测试过程中需要伪造来源IP地址,百思不得其解,因而发现火狐浏览器的这个Modify Headers插件,十分好用,推荐给大家。 步骤: 1、安装插件Modify Headers 进入网址:https://addons.mozilla.org/zh-CN/firefox/,搜索Modify Headers,点击添加到Firefox。 2、在浏览器右上角点小图标,选择打开“Open ModifyHeaders”,如下图所示。 3、如图依次选择 Add → 输入 X-Forwarded-For → 自定义IP地址 → 点Add按钮完成添加。 举一反三:可添加其他HTTP请求头,如:Referer 选择 Add → 输入Referer → 自定义地址 → 点Add按钮完成添加。 4、最后点击左上角的“Start”开启插件就搞定啦! 5、总结和思考: 由此可见,通过手动修改 HTTP请求头(X-Forwarded-For)的方式,就可以轻易骗过服务器,达到所谓的“伪造”客户端IP地址的目的,当然这招并非对于所有的网站有效(这取决于服务器获取ClientIP的方式)。 来源: https://www.cnblogs.com/xiaoxi-3-/p/7688844.html

自用浏览器的 User-agent 表

泪湿孤枕 提交于 2020-02-20 12:49:11
浏览器版本号见请求。 浏览器 User-agent Internet Explorer Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko Cent Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36 FireFox Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/72.0 Chrome Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36 360极速 Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36 搜狗高速 Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36

作业2,博客1

自作多情 提交于 2020-02-20 08:03:35
scrapy框架下实现爬虫douluo的useragent的随机更换功能 爬虫 在频繁访问一个页面时,这个请求头如果一直保持一致,那么有极大可能被服务器发现,从而禁止这个请求头的访问,因此我们要在我们要在访问这个页面之前随机地更换请求头,这样才可以 避免爬虫被抓 。 随机更换请求头,可以在下载中间件中实现,在请求发送给服务器之前,随机的选择一个请求头,这样就可以避免总使用一个请求头,有效的降低了被发现的风险 更换ueragent的方法有多种,这里采用的是学长要求的在middlewares.py中进行更换。代码如下: 1.首先在settings.py中设置用于更换的user-agent,这是我在网上找到的一些user-agent,放入USER_AGENT_LIST中 USER_AGENT_LIST=[ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1", "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11", "Mozilla/5.0

MDN中定义的Function.prototype.call()和apply()与bind()

空扰寡人 提交于 2020-02-10 11:27:33
Reference: https://developer.mozilla.org/zh-CN/docs/Web/JavaScript/Reference/Global_Objects/Function/call call https://developer.mozilla.org/zh-CN/docs/Web/JavaScript/Reference/Global_Objects/Function/apply apply https://developer.mozilla.org/zh-CN/docs/Web/JavaScript/Reference/Global_Objects/Function/bind bind 来源: https://www.cnblogs.com/JumperMan/p/12290158.html

爬虫使用代理-python

懵懂的女人 提交于 2020-02-10 11:27:10
import random userAgentList = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1" "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6", "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1", "Mozilla/5.0 (X11; Linux