Trident

通常防止爬虫被反主要有以下几个策略： 1.动态设置User-Agent（随机切换User-Agent，模拟不同用户的浏览器信息） 2.使用IP地址池：VPN和代理IP，现在大部分网站都是根据IP来ban的。 3.禁用Cookies（也就是不启用cookies middleware，不向Server发送cookies，有些网站通过cookie的使用发现爬虫行为） 4.可以通过COOKIES_ENABLED 控制 CookiesMiddleware 开启或关闭 5.设置延迟下载（防止访问过于频繁，设置为 2秒 或更高）要明白爬虫重要的是拿到数据。 6.Google Cache 和 Baidu Cache：如果可能的话，使用谷歌/百度等搜索引擎服务器页面缓存获取页面数据。 7.使用 Crawlera（专用于爬虫的代理组件），正确配置和设置下载中间件后，项目所有的request都是通过crawlera发出。 反爬第一招，动态设置User-Agent: 怎么动态设置？其实就是事先准备一堆User-Agent.每次发送请求时就从中间随机选取一个。有些网站反爬检查user-agent的话就可以骗过去了。 采用 random随机模块的choice方法随机选择User-Agent，这样每次请求都会从中选择，请求很频繁的话就多找几个user-agent。 def load_page(url, form

转： java下载文件时文件名出现乱码的解决办法 2018年01月12日 15:43:32 橙子橙 阅读数：6249 java下载文件时文件名出现乱码的解决办法： String userAgent = request.getHeader( "User-Agent"); String formFileName = file.getFileName(); // 针对IE或者以IE为内核的浏览器： if (userAgent.contains( "MSIE") || userAgent.contains( "Trident")) { formFileName = java.net.URLEncoder.encode(formFileName, "UTF-8"); } else { // 非IE浏览器的处理： formFileName = new String(formFileName.getBytes( "UTF-8"), "ISO-8859-1"); } response.setHeader( "Content-disposition",String.format( "attachment; filename=\"%s\"", formFileName)); response.setContentType( "multipart/form-data"); 来源： oschina 链接：

User Agent ( 用户 代理 ) UA是一个特殊字符串头，使得服务器能够识别客户使用的 操作系统 及版本、CPU 类型、 浏览器 及版本、浏览器渲染引擎、浏览器语言、 浏览器插件 等 通过抓包可以得到 下面是几个常用的user-agent，可以在测试中使用 1) Chrome Win7: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1 2) Firefox Win7: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0 3) Safari Win7: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50 4) Opera Win7: Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50 5) IE Win7+ie9： Mozilla/5.0 (compatible; MSIE 9.0;

3 月，跳不动了？>>> function getCookie(name) { var strCookie = document.cookie; var arrCookie = strCookie.split("; "); for (var i = 0; i < arrCookie.length; i++) { var arr = arrCookie[i].split("="); if (arr[0] == name) return arr[1]; } return ""; } var checkkey = getCookie("cookieName"); var userAgent = navigator.userAgent; var isIE = userAgent.indexOf('Trident') > -1; if (isIE) { $(window).focus(function () { debugger; if (checkkey != getCookie("cookieName")) { $.messager.alert({ title: "提示", msg: "检测到登录账号有变化刷新浏览器", icon: "icon", onClose: function () { window.location.reload(); } }); } }) } else {

3 月，跳不动了？>>> 了解浏览器背后的运行机制 了解浏览器背后的运行机制就是了解浏览器的内核，现在市面上主流浏览器的内核名称分别如下： chrome: blink内核 Opera: blink内核 Safari: webkit内核 FireFox: Gecko内核 IE: Trident内核 ** 注：blink内核其实是基于webkit内核衍生出的一个新分支 ** 获取到的HTML/CSS/JS资源经过浏览器内核的处理生成图像呈现在浏览器上，那么下面我们就详细说说浏览器内核在拿到资源之后是经过哪些处理来生成我们最终所看到的页面。 浏览器内核主要的功能模块 浏览器在处理资源的过程中是由多个模块协同工作的，主要关注下面几个模块： HTML解析器：解析HTML文件，最终输出DOM树 CSS解析器：解析CSS文件，最终输出样式层叠表 图层布局计算模块：布局计算每个对象的大小和位置 视图绘制模块：将图层布局计算模块的结果形成像素并绘制到屏幕上 js模块：编译和执行js 浏览器渲染过程 解析HTML：执行所有的加载逻辑，在解析HTML的过程中发出渲染页面所需的所有请求。 计算样式：解析CSS文件，生成层叠样式表并于HTML结合生成渲染树(:before,:after这样的伪类是在该过程中生成的) 计算图层布局：精确计算所有DOM节点的大小以及在页面中的位置 绘制图层

Trident,Gecko,WebKit三种浏览器引擎的简单介绍 由于项目的原由最近接触了很多优秀的项目,其中包括HTML排版引擎,以下对其做下简单的介绍和比较. 现在浏览器的内核引擎，基本上是三分天下： Trident : IE 以Trident 作为内核引擎。 Gecko : Firefox 是基于 Gecko 开发。 WebKit : Safari, Google Chrome 基于 Webkit 开发。Trident Trident （又称为MSHTML），是微软的窗口操作系统（Windows）搭载的网页浏览器—Internet Explorer的排版引擎的名称，它的第一个版本随着1997年10月Internet Explorer第四版释出，之后不断的加入新的技术并随着新版本的Internet Explorer释出。在未来最新的Internet Explorer第七版中，微软将对Trident排版引擎做了的重大的变动，除了加入新的技术之外，并增加对网页标准的支持。尽管这些变动已经在相当大的程度上落后了其它的排版引擎，如Gecko、WebCore、KHTML及Presto。 　　Trident引擎被设计成一个软件组件（模块），使得其它软件开发人员很容易的将网页浏览的功能加到他们自行开发的应用程序里。微软提出了一个称为组件对象模型（COM）的软件接口架构

“浏览器内核”主要指渲染引擎(Rendering Engine)，负责解析网页语法(如HTML、JavaScript)并渲染、展示网页。因此，所谓的浏览器内核通常也就是指浏览器所采用的渲染引擎， 渲染引擎决定了浏览器如何显示网页的内容以及页面的格式信息。不同的浏览器内核对网页编写语法的解析也有所不同，因此同一网页在不同的内核浏览器里的渲 染、展示效果也可能不同。 　　浏览器内核种类繁多，商用的加上非商业的免费内核，大约会超过10款，我们今天重点看一下目前主流的四大浏览器内核Trident、Gecko、WebKit以及Presto。 　　 一、Trident内核（代表： Internet Explorer ） 　　说起Trident，很多人都会感到陌生，但提起IE(Internet Explorer)则无人不知无人不晓，由于其被包含在全世界使用率最高的 操作系统 Windows中，得到了极高的市场占有率，所以我们又经常称其为IE内核。 　　Trident(又称为MSHTML)，是 微软 开发的一种排版引擎。它在1997年10月与IE4一起诞生，一直在被不断地更新和完善。而且除IE外，许多产品都在使用Trident核心，比如Windows的Help程序、 RealPlayer 、 Windows Media Player 、 Windows Live Messenger、Outlook

　众所周知，目前市场上 最火的五大浏览器 是：google chrome、firefox（FF）、Internet Explorer（IE）、safari、opera。 　　 　他们相对应的 内核 是什么呢？ 　　 谷歌浏览器 ：Google Chrome，谷歌浏览器之前一直使用苹果的webkit内核，但是现在它与苹果内核分道扬镳，自己开创了新的blink内核，这个内核也在被欧鹏（opera浏览器）共同采用和开发； 　　 火狐浏览器 ：Mozilla Firefox ，内核是Gecko； 　　 opera浏览器 ：内核是blink； 　　 Safari浏览器 ：使用的是苹果公司自己的内核webkit； 　　 IE浏览器： 微软出品的浏览器，IE4以上版本都是Trident内核。由于垄断性，IE在很长一段时间内没有更新，导致两个后果：一是IE与W3C标准脱节，二是Trident内核大量的bug问题没得到及时解决。所以这就给了其他浏览器机会，比如firefox等。也正是这些原因，使Web前端开发人员大费周折，特别是IE6正处在新旧交替的关键地方（已经逐渐被舍弃）。 　　当然除了这五大浏览器之外，市场上还有很多，例如： 　　 搜狗浏览器 ：兼容模式（IE：Trident）和高速模式（webkit）； 　　 遨游浏览器 ：兼容模式（IE：Trident）和高速模式（webkit）； 　　

我们每天都在使用着浏览器，每个人使用的浏览器各不一样。在这个科技飞速发展的时代，一个游览器能否站住脚跟取决于使用者的数量，看用户是否喜欢这个产品，听取用户们的意见来改善。 我们这个年龄的人最初用到的浏览器肯定是IE浏览器了，在小学的时候就接触到这个，当时输入域名什么的都还不太懂。IE浏览器：Internet Explorer，是美国 微软公司 推出的一款 网页浏览器 。原称Microsoft Internet Explorer(6版本以前)和Windows Internet Explorer(7、8、9、10、11版本)，简称IE。在IE7以前，中文直译为“网络探路者”，但在IE7以后官方便直接俗称"IE浏览器"。 1996年，微软通过给予季度费用和部分收入从Spyglass中取得了Spyglass Mosaic的源代码和授权。从而使IE逐渐成为微软专属软件。它采用的排版引擎(俗称内核)为Trident。每一次新的IE版本发布，也标志着Trident内核版本号的提升。 Trident 引擎被设计成一个 软件组件 (模块)，使得其它软件开发人员很容易的将网页浏览的功能加到他们自行开发的应用程序里。微软提出了一个称为 组件对象模型 (COM)的 软件接口 架构。供其它支持的组件对象模型开发环境的应用程序存取及编辑网页。例如，由C++或.NET所撰写的程序可以加入浏览器控件里

五大主流浏览器及四大内核 只是用户看到仅仅只是浏览器本身，却很少能看到浏览器最核心的部分—浏览器内核。从第一款libwww（Library WorldWideWeb）浏览器发展至今已经经历了无数竞争与淘汰了。现在国内常见的浏览器有：IE、Firefox、QQ浏览器、Safari、Opera、Google Chrome、百度浏览器、搜狗浏览器、猎豹浏览器、360浏览器、UC浏览器、遨游浏览器、世界之窗浏览器等。但目前最为主流浏览器有五大款，分别是IE、Firefox、Google Chrome、Safari、Opera。 浏览器最重要的部分是浏览器的内核。浏览器内核是浏览器的核心，也称“渲染引擎”，用来解释网页语法并渲染到网页上。浏览器内核决定了浏览器该如何显示网页内容以及页面的格式信息。不同的浏览器内核对网页的语法解释也不同，因此网页开发者需要在不同内核的浏览器中测试网页的渲染效果。 浏览器内核又可以分成两部分：渲染引擎(layout engineer 或者 Rendering Engine)和 JS 引擎。它负责取得网页的内容（HTML、XML、图像等等）、整理讯息（例如加入 CSS 等），以及计算网页的显示方式，然后会输出至显示器或打印机。浏览器的内核的不同对于网页的语法解释会有不同，所以渲染的效果也不相同。所有网页浏览器、电子邮件客户端以及其它需要编辑