网站统计

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。 但是当网络爬虫被滥用后，互联网上就出现太多同质的东西，原创得不到保护。 于是，很多网站开始反网络爬虫,想方设法保护自己的内容。 他们根据ip访问频率，浏览网页速度，账户登录，输入验证码，flash封装，ajax混淆，js加密，图片，css混淆等五花八门的技术，来对反网络爬虫。 防的一方不惜工本，迫使抓的一方在考虑成本效益后放弃 抓的一方不惜工本，防的一方在考虑用户流失后放弃 参考： 美国高级情报官员透露,美国国家安全局前雇员斯诺登仅仅是利用普通的网络爬虫软件(Webcrawler),从国安局网络里面截取大量的机密文件与资料. 反网络爬虫:越来越成为一种新的行业 因为搜索引擎的流行，网络爬虫已经成了很普及网络技术，除了专门做搜索的Google，Yahoo，微软，百度以外，几乎每个大型门户网站都有自己的搜索引擎，大大小小叫得出来名字得就几十种，还有各种不知名的几千几万种，对于一个内容型驱动的网站来说，受到网络爬虫的光顾是不可避免的。 一些智能的搜索引擎爬虫的爬取频率比较合理，对网站资源消耗比较少，但是很多糟糕的网络爬虫，对网页爬取能力很差，经常并发几十上百个请求循环重复抓取，这种爬虫对中小型网站往往是毁灭性打击，特别是一些缺乏爬虫编写经验的程序员写出来的爬虫破坏力极强，造成的网站访问压力会非常大

项目需求：统计用户浏览该网站的时长 初始方案：只需要在根入口的的组件被销毁的时候通过axios请求接口，提交时间给后台，在实际测试的时候发现，请求还没发送过去就被取消，使用axios请求，是异步请求,导致页面卸载时，请求被取消。 解决方案：换成同步事件 <template> <div id="app"> <router-view/> </div> </template> <script> import server_url from '../static/server.js' import axios from "axios"; import { exists, constants } from "fs"; export default { data() { return { openTime: "", account: "", startDate: performance.now() // 获取当前时间的毫秒数 }; }, mounted() { const that = this; this.account = this.$route.query.account; console.log(that.startDate, "that.that.startDate",this.account); //初始原因使用axios请求，是异步请求,导致页面卸载时，请求被取消 window

NoSql数据库四大分类 键值存储 列存储 文档数据库 图形数据库 NoSQL的特点 易扩展 灵活的数据模型 大数据量，高性能 高可用 Redis 读10w/s 写8w/s Redis的应用场景 缓存 任务队列 网站访问统计 应用排行榜 数据过期处理 分布式集群架构中的session分离 来源： https://www.cnblogs.com/Roni-i/p/10802222.html

1 获取百度统计代码 首先登录tongji.baidu.com，在百度统计中申请账号，申请登录后，在管理中加入需要统计的网站地址，添加完成后百度会生成统计代码，不同的网站百度生成的代码是不一样的。在百度统计的管理界面，在需要统计的网站一行，后面有获取代码，点击后会得到百度的统计代码，是一段js文件。类似于 <script> var _hmt = _hmt || []; (function() { var hm = document.createElement("script"); hm.src = "https://hm.baidu.com/hm.js?xxxxxxxxxxxx8888888"; var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(hm, s); })(); </script> 2 将统计代码放到网站文件中 保证这段代码在网站的每个html文件都要添加。如果所有的html文件都引入了公共的js代码，比如自己写的common.js或者public.js之类的，可以把这段代码添加到公共的js中就可以达到目的。如果没有这样的js文件，一般根据模板做的网站无需自己写公共的js文件，这时候就要逐个添加统计代码了，根据网站情况，可能有10来个html网页

1. UV、PV、TopN概念 1.1 UV（unique visitor） 即独立访客数 　　指访问某个站点或点击某个网页的不同IP地址的人数。在同一天内，UV只记录第一次进入网站的具有独立IP的访问者，在同一天内再次访问该网站则不计数。UV提供了一定时间内不同观众数量的统计指标，而没有反应出网站的全面活动。 1.2 PV（page view）页面浏览量或点击量 　　页面浏览量或点击量，是衡量一个网站或网页用户访问量。具体的说，PV值就是所有访问者在24小时（0点到24点）内看了某个网站多少个页面或某个网页多少次。PV是指页面刷新的次数，每一次页面刷新，就算做一次PV流量。 1.3 TopN 　　顾名思义，就是获取前10或前N的数据。 2. 离线计算UV、PV、TopN 　　这里主要使用hive或者MapReduce计算。 2.1 统计每个时段网站的PV和UV hive> select date,hour,count(url) pv, count(distinct guid) uv from track_log group by date, hour; date hour pv uv 20160624 18 64972 23938 20160624 19 61162 22330 2.2 hive中创建结果表 create table db_track_daily_hour

1.先安装一个百度统计工具，用于统计网站的流量数据。打开百度统计，注册一个帐号登录。 2.新增数据监控网站。在网站中心菜单栏，新增一个网站，填写你自己网站的域名。如果你有很多网站，可以添加多个。 3.安装代码。新增网站后，会生成一段代码，通常网站的尾部文件是同一个文件，把代码复制到尾部模版文件里面，达到全站代码安装的效果。 4.检查代码是否正确安装，正确安装20分钟后数据统计工具开始监控网站的流量数据。 5.安装好代码后，选择“报告”菜单栏，可以看到网站的各种数据报告，可以根据自己的需要，设置条件查看数据。 https://new.cnzz.com/v1/login.php?siteid=1278053396 来源： https://www.cnblogs.com/wensx/p/11993619.html

Flink 实战：统计网站PV，UV PV，UV PV（Page View) : 页面点击次数 UV（User View）: 独立用户访问次数 假定需求如下，每间隔1分钟，统计过去5分钟的UV，PV。很容易想到，通过数据库的count，以及count distinct可以得出正确结果。在大数据量下，传统数据库或者HADOOP（hbase...）的count效率都不高。如果数据是增量的，那么流式计算往往能提供更高的吞吐和更低的延时。 接下来通过使用Flink实现这个功能，并借这个案例描述一些Flink的基本概念。如果对其他流式计算框架有所了解，可以发现许多东西是互通的。 Window 很容易理解，在这个案例中，我们需要在内存中缓存5分钟的数据，时间往前推移到一分钟的时候，统计一次，并且清理数据。 Flink提供了 多种窗口 ，可以按需选择。 Event Time 考虑到网络的延迟和数据的乱序，不能简单的使用Flink的系统时间做统计。例如14:25分的数据可能在14:27分才到系统中，如果直接按Flink系统时间，即会影响14:20~14:25这段时间的计算结果，同时也会影响14:25~14:30的计算结果。 在Flink中，有以下三种时间特征， 查看详细说明 ： Processing time：Operator处理数据的时间。 Event time ： 事件发生时间。

百度统计是百度公司推出的一款网站访问数据统计工具，使用百度统计我们可以很轻松的获取网站的流量分析、来源分析、访问分析、转化分析、访客分析、优化分析等数据信息。新手站长没用过可能不太了解百度统计代码安装的方法，那么百度统计代码怎么安装呢？放在网页哪里呢？以下是百度零五科技为您分享的百度统计代码安装教程。 1.首先获取百度统计代码 进入百度统计（百度统计官网：http://tongji.baidu.com），如果没有账号的可以注册一个。进入的页面显示的启用百度统计网站列表及统计概况，如果是新注册的账号，那么这里显示是空白的，我们新增一个网站 选择最上面的管理。点击新增网站，添加您自己网站地址，按照提示输出网站相关信息即可。 添加完成后百度统计会生成一段统计代码，复制这段代码，到这里我们就成功的获取到了百度统计代码。 2.安装百度统计代码 安装统计代码有两种方式： 一种是自动安装，提供服务器的ftp信息即可，这里不做过多介绍。 另外一种是手动安装，我们将刚才复制的百度统计代码粘贴到网站的每一个网页中即可，如果不确定是否正确安装百度统计代码，那么可以点击“代码检查”即可获取百度统计代码安装状态。 这样我们就完成了百度统计代码的安装，如果你在安装百度统计的过程中遇到了异常问题，请参考下面的百度统计代码安装注意事项。 附：百度统计代码安装注意事项（百度统计官方开放平台 http:/

1、CORS 跨域携带 Cookie 发送请求 参考： https://segmentfault.com/a/1190000016032594 https://www.cnblogs.com/nuccch/p/7875189.html 需要从2个方面解决： 1）服务器端使用CROS协议解决跨域访问数据问题时，需要设置响应消息头 Access-Control-Allow-Credentials 值为“true”。同时，还需要设置响应消息头 Access-Control-Allow-Origin 值 为指定单一域名（注：不能为通配符“*”） 。 2）客户端需要设置Ajax请求属性withCredentials=true，让Ajax请求都带上Cookie。 若服务端将Access-Control-Allow-Origin设置为*，浏览器会报错The value of the 'Access-Control-Allow-Origin' header in the response must not be the wildcard '*' when the request's credentials mode is 'include' 2、iframe sandbox属性 参考： https://developer.mozilla.org/zh-CN/docs/Web/HTML

一、网页添加GA代码:①一般放在</body>之前 <script type="text/javascript"> var _gaq = _gaq || [];//定义GA变量数组。 _gaq.push(['_setAccount', 'UA-24479793-2']);//设置本跟踪代码所对应的Google帐户。 _gaq.push(['_trackPageview']);//定义按页面跟踪 (function () {//定义匿名的执行方法 var ga = document.createElement('script');//定义GA的脚本Dom对象。到时候会appendChild到Document中 ga.type = 'text/javascript';//不解释 ga.async = true;//定义GA数据传输方式为异步传输。 ga.src = ('https:' == document.location.protocol ? 'https://ssl' : 'http://www') + '.google-analytics.com/ga.js';//定义GA的JS源路径，自动取的，主要是做了一个协议判断，意味着GA可以跟踪htts网页和ssl网页，当你 的页面是http时就去http://www.google-analytics.com/ga.js取代码