谷歌浏览器

【Python网络爬虫整理记录 D:04】——关于爬虫伪装中常见headers参数详解以及常见错误代码及错误原因

血红的双手。 提交于 2020-02-27 11:18:50
文章目录 常见Headers参数详解 Accept Accept-Language Accept-Encoding Cookie Referer User-Agent Content-Type Origin 常见错误代码及错误原因 User-Agent集合(列表形式) 常见Headers参数详解 Accept 请求报头域,用于指定客户端可接受哪些类型的的信息 需要注意的是它只是建议服务器,而并非就是你写成什么他就返回给你什么。 Accept-Language 指定客户端可接受的语言类型 Accept-Encoding 指定客户端可接受的内容编码 需注意其中一个gzip编码,有时候爬取内容返回一直是乱码,问题可能会处在这个参数,它表示客户端可接受压缩后的内容。 Cookie 也常用复数形式Cookies。这是最重要的请求头信息之一。网站为了辨别用户进行会话跟踪二存储在用户本地的数据。一般可以直接复制,对于一些变化的可以选择构造。 Referer 当浏览器向web服务器发送请求的时候,一般会带上Referer,标识这个请求是从哪个页面链接过来的,服务器籍此可以获得一些信息用于处理。用于统计访问量、防盗链处理等。 User-Agent 向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。在做爬虫时加上此信息,可以伪装为浏览器;如果不加

使用webdriver打开本地浏览器--python版

本秂侑毒 提交于 2020-02-27 09:02:20
背景:经常性的,在项目中我们需要打开不同配置的不同浏览器。在学习selenium的过程中,打开本地火狐和本地chrome是一个稍微麻烦的事情,网上的java版本资料很多,但是python版的不多,在这里,我研究了一份关于python版Selenium打开浏览器的文档,供自己备注,也希望给大家一些参考。 1.打开默认的火狐 browser = webdriver.Firefox() 2.打开本地配置的火狐 from selenium import webdriver from time import sleep import os profileDir = “C:Users\\cui\\AppData\\Roaming\\Mozilla\\Firefox\\Profiles\\vrpxe102.default” profile = webdriver.FirefoxProfile(profileDir) browser = webdriver.Firefox(profile) 解析: 第一部分是给出本地的配置地址,这个地址在火狐浏览器的安装目录下,相对路径即为Firefox\\Profiles\\vrpxe102.default。也就是 .default文件。各人的浏览器下这个.default文件的名字不一样。 第二部分,即是读取本地配置。第三部分,即是利用这个本地的配置

Safari调试工具

人走茶凉 提交于 2020-02-27 03:58:16
一直以来认为Safari在Web调试上是个残疾 直到今天 才发现一直错怪了它... 而且... 它用的居然和Chrome是一个调试工具 - Web Inspector 只是Chrome在这点上做的比Safari好 一开始就把Web Inspector给Enable了 而且做了一些扩展 并给了它另外一个名字 - Develop Tools 而Safari把它隐藏的太深了 以至于像我这样会玩软件设置的人都... 如何Enable - SafariPrefernces --> Advanced最下面的选项 勾选 然后你就可以在右键菜单上看到Inspect Element选项了 - 跟Chrome一模一样 来看看两个的界面 Safari Web Inspector: Chrome Develop Tools: 界面看起来几乎一样 本来就是一个东西么 区别就在Chrome多了一些功能 再看仔细一点 Safari上面的那个标尺 更圆润一点 猜是Safari对HTML5 Vanvas的支持更强大一点 毕竟人家是Canvas的发明者啊 调CSS和JS 在Safari上 没问题啦! 以上为转载! 以下为自己测试,Safari中文版设置: ‘编辑’菜单---’偏好设置‘ (ctrl+,),选择‘高级’选项卡,选择最后的复选框‘在菜单中显示开发’菜单 来源: https://www.cnblogs

selenium.webdriver.chrome.options 中add_argument 常用参数表

Deadly 提交于 2020-02-27 02:31:50
eg: chrome_options.add_argument('--incognito') # 设置Chrome为隐身模式(无痕模式) --allow-outdated-plugins 不停用过期的插件。 --allow-running-insecure-content 默认情况下,https 页面不允许从 http 链接引用 javascript/css/plug-ins。添加这一参数会放行这些内容。 --allow-scripting-gallery 允许拓展脚本在官方应用中心生效。默认情况下,出于安全因素考虑这些脚本都会被阻止。 --disable-accelerated-video 停用 GPU 加速视频。 --disable-dart 停用 Dart。 --disable-desktop-notifications 禁用桌面通知,在 Windows 中桌面通知默认是启用的。 --disable-extensions 禁用拓展。 --disable-file-system 停用 FileSystem API。 --disable-preconnect 停用 TCP/IP 预连接。 --disable-remote-fonts 关闭远程字体支持。SVG 中字体不受此参数影响。 --disable-speech-input 停用语音输入。 --disable-web

使用Visual Studio Code打开浏览器查看HTML文件

ε祈祈猫儿з 提交于 2020-02-26 21:34:20
vscode出来之前一直使用sublime,后者在编写HTML文件时可以通过点击鼠标右键,找到open in browser来启动系统默认浏览器,而vscode却没有这个功能,调试和预览起来比较麻烦。不过可以通过配置tasks.json文件来解决这个问题。 按 Ctrl+P打开命令面板 ,输入tasks.json然后回车打开这个文件,可以看到默认配置,然后修改如下: { // See http://go.microsoft.com/fwlink/?LinkId=733558 // for the documentation about the tasks.json format "version": "0.1.0", "command": "Chrome", //使用chrome浏览器 "windows": { "command": "C:/Program Files (x86)/Google/Chrome/Application/chrome.exe" //chrome浏览器的路径 }, "isShellCommand": true, "args": ["${file}"], //表示对当前文件进行操作 "showOutput": "always" } 保存后打开一个html文件,按组合键 Ctrl+Shift+B 就可以使用指定的浏览器打开html文件了。 针对Version

禁用HTML5表单元素的验证

落花浮王杯 提交于 2020-02-26 17:20:28
在我的表单中,我想使用新的HTML5表单类型,例如 <input type="url" /> ( 有关此处的类型的更多信息 )。 问题在于Chrome希望对我有帮助,并为我验证这些元素,除了它会吸引人。 如果未通过内置验证,则该元素不会成为焦点,否则不会显示任何消息或指示。 我用 "http://" 预填充URL元素,因此我自己的自定义验证只是将这些值视为空字符串,但是Chrome拒绝了。 如果我可以更改其验证规则,那也可以。 我知道我可以恢复使用 type="text" 但我希望使用这些新类型提供的增强功能(例如:它会自动切换到移动设备上的自定义键盘布局): 因此, 有没有办法关闭或自定义自动验证? #1楼 我在下面的选择器中找到了一个使用CSS的Chrome解决方案,而没有绕过可能非常有用的本机验证表单。 form input::-webkit-validation-bubble-message, form select::-webkit-validation-bubble-message, form textarea::-webkit-validation-bubble-message { display:none; } 通过这种方式,您还可以自定义消息... 我在此页面上找到解决方案: http : //trac.webkit.org/wiki/Styling%20Form

【转】 selenium3+JAVA】界面自动化测试教程(四)——浏览器的打开url、前进、后退、刷新和cookie的操作

Deadly 提交于 2020-02-26 14:50:48
https://blog.csdn.net/df0128/article/details/82823495 1、打开url 这里打开网址有两个方法,如下所示: System.setProperty("webdriver.chrome.driver", "D:\\test\\driver\\chromedriver.exe"); ChromeDriver chrome = new ChromeDriver(); //第一种方法 chrome.navigate().to("https://www.baidu.com/"); //第二张方法 chrome.get("https://www.baidu.com/"); 1 2 3 4 5 6 1 2 3 4 5 6 上面代码中两种方法都可以打开网站,事实上两者并无区别,但是很显然第二张更容易书写。 2、浏览器的前进 代码如下,此方法需要注意的是要确定网页有可以前进的地址,如果做过后退操作可以使用此方法: System.setProperty("webdriver.chrome.driver", "D:\\test\\driver\\chromedriver.exe"); ChromeDriver chrome = new ChromeDriver(); chrome.navigate().forward(); 1 2 3 1 2 3 3

Chrome浏览器强制http重定向到https的简单方法

自古美人都是妖i 提交于 2020-02-26 11:13:40
有的朋友修改host进某些网站,但每次进入都是诸如 http://twitter.com ,大多时候有可能进不去。前段时间就算修改了,输入http://plus.google.com ,G+也是也进不去的,需要手动修改http为https,方能进入。 今天,在Google+看到一篇介绍Chrome浏览器强制http重定向到https的简单方法,搬到这里来,纯粹的Chrome技巧。 下面是步骤: 地址栏输入chrome://net-internals/ 在HSTS的标签栏里Domain里填上需要访问的domain,比如twitter.com 然后选中Include subdomains点击Add按钮即可,可以加多个域 这样所有访问这个域名(包括子域名)都自动转到https了 相关的扩展可以卸载了,绿色又环保。 来源: https://www.cnblogs.com/jxgxy/archive/2012/10/16/2725639.html

解决chrome下https无法打开方法

限于喜欢 提交于 2020-02-26 11:11:46
2015年11月11日 15:21:43 阅读数:52966 使用chrome浏览器打开带https开头的网址时,有时无法打开。其实这是因为有的https没有经过验证,属于无牌证书,所以遭到了google拒绝。   现在只需要经过一些简单的设置,就可以强制chrome使用https的方式打开。   打开Chrome,在地址栏输入chrome://net-internals/   之后,在HSTS选项卡下的Domain中输入 www.google.com (或 www.google.com.hk ),然后点击Add按钮。   现在你再使用Google的Https搜索,就会发现搜索结果的链接可以打开了。   对于其他网站的域名,如果遇到类似问题,也可以通过这个方法解决。 如下图: 来源: https://www.cnblogs.com/xc1234/p/9215344.html

强制Chrome浏览器http重定向到https的技巧

北慕城南 提交于 2020-02-26 11:10:09
  chrome://net-internals是一个Chrome内置的开发者工具。   1.在地址栏输入地址栏输入chrome://net-internals   2.点倒数第二个HSTS标签,在Add domain下方的"Domain:"后面输入想强制Https访问的网址   3.输入网址后再点 Add按钮即可。   设置完成后所有该域名下的子目录都会强制加密访问,如果想删除相关设置,在Delete domain下的方"Domain:"后面输入想删除的网址,然后点delete按钮即可。 来源: https://www.cnblogs.com/Templar/archive/2012/01/12/2320956.html