埋点

网站数据统计分析之一:日志收集原理及其实现

末鹿安然 提交于 2019-12-06 18:59:48
网站数据统计分析工具是网站站长和运营人员经常使用的一种工具,比较常用的有 谷歌分析 、 百度统计 和 腾讯分析 等等。所有这些统计分析工具的第一步都是网站访问数据的收集。目前主流的数据收集方式基本都是基于javascript的。本文将简要分析这种数据收集的原理,并一步一步实际搭建一个实际的数据收集系统。 注: 从上图中可以看出,一个统计分析平台架构的挑战来自以下 5 个: (1)日志采集、(2)元数据管理、(3)业务数据建模、(4)任务调度、(5)OLAP引擎 1、数据收集原理分析 简单来说,网站统计分析工具需要收集到用户浏览目标网站的行为(如打开某网页、点击某按钮、将商品加入购物车等)及行为附加数据(如某下单行为产生的订单金额等)。早期的网站统计往往只收集一种用户行为:页面的打开。而后用户在页面中的行为均无法收集。这种收集策略能满足基本的流量分析、来源分析、内容分析及访客属性等常用分析视角,但是,随着ajax技术的广泛使用及电子商务网站对于电子商务目标的统计分析的需求越来越强烈,这种传统的收集策略已经显得力不能及。 后来,Google在其产品谷歌分析中创新性的引入了可定制的数据收集脚本,用户通过谷歌分析定义好的可扩展接口,只需编写少量的javascript代码就可以实现自定义事件和自定义指标的跟踪和分析。目前百度统计、搜狗分析等产品均照搬了谷歌分析的模式。