mozilla

User Agent ( 用户 代理 ) UA是一个特殊字符串头，使得服务器能够识别客户使用的 操作系统 及版本、CPU 类型、 浏览器 及版本、浏览器渲染引擎、浏览器语言、 浏览器插件 等 通过抓包可以得到 下面是几个常用的user-agent，可以在测试中使用 1) Chrome Win7: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1 2) Firefox Win7: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0 3) Safari Win7: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50 4) Opera Win7: Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50 5) IE Win7+ie9： Mozilla/5.0 (compatible; MSIE 9.0;

1 import random 2 class UserAgentMiddleware(object): 3 def __init__(self): 4 self.user_agent_list = [ 5 "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", 6 "Mozilla/5.0 (Windows NT 8.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36", 7 "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/513.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36", 8 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36", 9 "Mozilla/5.0 (Linux; U;

一、背景　　 　　每天好像都很忙碌，已经不记得上次写博客是什么时候，这两天公司项目一个特殊的组网环境，需要重新搭建了KETTLE的封装，实现java调用ETL完成数据抽取转换加载的一些功能，搞了这么这么久的ETL，没想到今天掉坑里了，浪费了小半天的时间，以前觉得写博客要记录一些重大突破的或者高频的技术点，经历了这次，决定把所有遇到的问题都记录一下，顺道分享一下技术实现。 二、问题 1、kettle的java开发包里没有添加pom依赖，需要手动添加和组合，这就回到了最原始的项目开发模式，那问题也很突出了，jar包冲突或者jar包引入不合适 2、kettle的java代码组件的适用 三、处理过程 要搭建kettle的java运行环境首先要引入三个包：kettle-core、kettle-engine、kettle-dbdialog，maven引入方式如下： 1 <dependency> 2 <groupId>pentaho-kettle</groupId> 3 <artifactId>kettle-core</artifactId> 4 <version>${kettle.version}</version> 5 </dependency> 6 7 <dependency> 8 <groupId>pentaho-kettle</groupId> 9 <artifactId>kettle

Trident,Gecko,WebKit三种浏览器引擎的简单介绍 由于项目的原由最近接触了很多优秀的项目,其中包括HTML排版引擎,以下对其做下简单的介绍和比较. 现在浏览器的内核引擎，基本上是三分天下： Trident : IE 以Trident 作为内核引擎。 Gecko : Firefox 是基于 Gecko 开发。 WebKit : Safari, Google Chrome 基于 Webkit 开发。Trident Trident （又称为MSHTML），是微软的窗口操作系统（Windows）搭载的网页浏览器—Internet Explorer的排版引擎的名称，它的第一个版本随着1997年10月Internet Explorer第四版释出，之后不断的加入新的技术并随着新版本的Internet Explorer释出。在未来最新的Internet Explorer第七版中，微软将对Trident排版引擎做了的重大的变动，除了加入新的技术之外，并增加对网页标准的支持。尽管这些变动已经在相当大的程度上落后了其它的排版引擎，如Gecko、WebCore、KHTML及Presto。 　　Trident引擎被设计成一个软件组件（模块），使得其它软件开发人员很容易的将网页浏览的功能加到他们自行开发的应用程序里。微软提出了一个称为组件对象模型（COM）的软件接口架构

某厂面试归来，发现自己落伍了！>>> 禁用火狐浏览器的快速拨号功能 火狐浏览器貌似从 22.0 版本开始就默认会开启快速拨号功能，但是我不喜欢使用快速拨号，也不喜欢它默认的那个九宫格子的新页面，所以壹直想把它的设置修改下关闭掉快速拨号，昨天在网上搜索了下，发现可以按照下面的方法把快速拨号换为空白页。在Firefox地址栏中输入about:config并回车，点击“我保证会小心”按钮进入设置界面。在该界面的搜索框中输入以下内容找到对应项目，并把该项目设置成后面的内容： 1、browser.newtabpage.enabled，设为false 2、browser.newtab.url，设为about:blank 但是这样做还不够，它仅仅是把新标签页改为空白页，而 Firefox 依然会为每个页面自动截取缩略图，并保存到如下路径中： Windows 7系统： C:\Users\用户名\AppData\Local\Mozilla\Firefox\Profiles\xxx.default\thumbnails Windows XP系统： C:\Documents and Settings\用户名\Local Settings\Application Data\Mozilla\Firefox\Profiles\xxx.default\thumbnails 其中“用户名”是系统当前登录的用户名，

“浏览器内核”主要指渲染引擎(Rendering Engine)，负责解析网页语法(如HTML、JavaScript)并渲染、展示网页。因此，所谓的浏览器内核通常也就是指浏览器所采用的渲染引擎， 渲染引擎决定了浏览器如何显示网页的内容以及页面的格式信息。不同的浏览器内核对网页编写语法的解析也有所不同，因此同一网页在不同的内核浏览器里的渲 染、展示效果也可能不同。 　　浏览器内核种类繁多，商用的加上非商业的免费内核，大约会超过10款，我们今天重点看一下目前主流的四大浏览器内核Trident、Gecko、WebKit以及Presto。 　　 一、Trident内核（代表： Internet Explorer ） 　　说起Trident，很多人都会感到陌生，但提起IE(Internet Explorer)则无人不知无人不晓，由于其被包含在全世界使用率最高的 操作系统 Windows中，得到了极高的市场占有率，所以我们又经常称其为IE内核。 　　Trident(又称为MSHTML)，是 微软 开发的一种排版引擎。它在1997年10月与IE4一起诞生，一直在被不断地更新和完善。而且除IE外，许多产品都在使用Trident核心，比如Windows的Help程序、 RealPlayer 、 Windows Media Player 、 Windows Live Messenger、Outlook

　　首先下载linux版的flash player，解压后进入文件之后，可以发现有个叫“libflashplayer.so”的文件。把这个libflashplayer.so文件复制到文件系统的/usr/lib/mozilla/plugins目录下。 　　在终端直接使用命令：sudo cp libflashplayer.so /usr/lib/mozilla/plugins 　　接下来，执行下面的命令：nspluginwrapper -i /usr/lib/mozilla/plugins/libflashplayer.so 　　此后，只要重启一下浏览器，就可以发现flash player插件已经安装好了 　　注意：在执行命令 nspluginwrapper -i /usr/lib/mozilla/plugins/libflashplayer.so 的时候，可能会提示安装nspluginwrapper ，这个时候，只要用命令sudo apt-get install nspluginwrapper 之后就可以使用上述的命令来安装flash player了。 来源： https://www.cnblogs.com/xingfuzzhd/archive/2012/09/05/2672014.html

浏览器最重要或者说核心的部分是“Rendering Engine”，可大概译为“解释引擎”，不过我们一般习惯将之称为“浏览器内核”。负责对网页语法的解释（如HTML、JavaScript）并渲染（显示）网页。 不同的浏览器内核对网页编写语法的解释也有不同，因此同一网页在不同的内核的浏览器里的渲染（显示）效果也可能不同，这也是网页编写者需要在不同内核的浏览器中测试网页显示效果的原因。 几种常见的浏览器内核简介： Trident：Windows下的IE浏览器使用的内核代号。除IE外，众多的IE Shell（如 Maxthon）都使用这个内核。 Gecko：Mozilla Firefox浏览器使用的内核代号。使用Gecko内核的浏览器也有不少，如Netscape、MozillaSuite/SeaMonkey等。另外，Mozilla Thunderbird也使用Gecko。 Presto：Opera浏览器使用的内核代号，这是目前公认网页浏览速度最快的浏览器内核。 KHTML/WebCore：Konqueror/Safari浏览器使用的内核代号。Konqueror是X协议下的KDE桌面环境使用的浏览器和资源管理器，可以用在Unix/Linux/BSD系统中，KDE 4.0以后向Windows移植；Safari则是Apple用户中最受欢迎的浏览器。 　　Trident （又称为MSHTML）

在写网络爬虫时，我们都需要伪装headers来避免反爬，主要就是更改user-agent和refere。 使用requests或urllib未使用scrapy时，都是手动指定headers例如： header = { 'Host': 'www.***.com', 'User-Agent': random.choice(pcUserAgent), 'Accept': '*/*', 'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2', 'Accept-Encoding': 'gzip, deflate, br', 'X-Requested-With': 'XMLHttpRequest', 'Connection': 'close', 'Referer': 'https://www.***.com' } pcUserAgent是一个user-agent列表。 那使用scrapy框架时，伪装headers有多种方法，这里记录一下如何利用Downloader Middleware中间件来设置。 （1）首先，在setting.py中加入user-agent列表 # User-Agent USER_AGENTS = [ # Opera "Mozilla/5.0 (Windows NT 6

JavaScript ( JS ) 是一种具有 函数优先 的轻量级，解释型或即时编译型的编程语言。虽然它是作为开发Web 页面的脚本语言而出名的，但是它也被用到了很多 非浏览器环境 中，例如 Node.js 、 Apache CouchDB 和 Adobe Acrobat 。JavaScript 是一种 基于原型编程 、多范式的动态脚本语言，并且支持面向对象、命令式和声明式（如函数式编程）风格。了解更多 JavaScript 。 本部分将专注于 JavaScript 语言本身，而非局限于网页或其他限制环境。想要了解网页有关的 APIs ，请参考 Web APIs 以及 DOM 。 JavaScript 的标准是 ECMAScript 。截至 2012 年，所有的 现代浏览器 都完整的支持 ECMAScript 5.1，旧版本的浏览器至少支持 ECMAScript 3 标准。2015年6月17日， ECMA国际组织 发布了 ECMAScript 的第六版，该版本正式名称为 ECMAScript 2015，但通常被称为 ECMAScript 6 或者 ES6。自此，ECMAScript 每年发布一次新标准。本文档目前覆盖了最新 ECMAScript 的草案，也就是 ECMAScript2020 。 不要将 JavaScript 与 Java编程语言 混淆。虽然“Java”和