网站分析

网站分析的步骤：收集完整真实的数据，并分析问题的本质，然后改进和落实，最后监控改进的结果。 网站分析要求 ： 业务方法的知识，网站的业务模式，使用的推广手段，也包括技术方面的知识，了解网络营销知识和常见广告模式。 工具有： google analytics ， js 和 html 语言， excel 和 ppt 。 数据来源见另外一篇文章（网站分析---数据和指标），这里放不下。 网站分析方法 ： 有了指标之后，怎么分析呢？ 趋势分析，对比分析和细分分析 数据分析的目的，发现数据的特征和变化规则，找出是否有问题。 数据分析需要有参考系，比如单单的 10 万 UV 能代表什么意思呢？ 数据来源：点击流数据 ( 网站日志等 ) ，业务运营数据，临时测试数据，用户调研数据，行业发展数据。 数据要求：及时性，准确性，完整性。 网站数据趋势分析：同比，环比，定基比，监控自动化 ： 网站数据趋势分析： 1） 百分比比较法，即把指标的值转化为百分比的形式 网站数据多维度细分： 指标：访问者，停留时间，访问次数，转化率，跳出率，退出率，流失率，访问深度，时间总数，综合浏览量。 维度：访问者属性维度（新，回访老用户，男女），时间维度（年月日，工作休息），流量来源维度（浏览器，推荐网站），内容维度（新产品，促销），地理纬度（国家，地区，语言），浏览器，接入方式，语言，分辨率。 网站流量分析 ：

讲座实录： Hi，大家好，自我介绍一下，我是百度商业产品部的喻友平，首先要感谢老k提供这样的机会，感谢这么多站长的参与，让我今天有幸来和大家分享一下百 度统计，如何更好地了解自己的网站、优化网站。 大家应该已经从各种渠道知道了，百度统计从昨天（5.26）晚上开始，已经免费开放注册了，用户只需要输入用户名、密码、邮箱、网站等基本信息，就 可以注册一个百度统计帐号使用。 免费开放注册，一直是很多非百度联盟用户的愿望，现在终于实现了，我们也很高兴，有幸能够把这款产品呈现给更多的站长。 说到流量统计软件，大家都不陌生，几乎所有站长都会要和流量统计软件打交道，因为她是网站的一个测量仪，帮你了解网站、你的推广、网站优化都需要通 过她来检验效果。 想简单说说流量统计软件的发展趋势，最早的流量统计软件就是一个计数器，放在网站的最下面，记录网站被查看过多少次。 后来随着站点内容越来越多，站点主动推广越来越多，流量统计也成为了一个有丰富内容的应用，需要可以查看每个页面的流量，可以查看各种来路的流量， 需要更细致地了解用户的行为。 流量统计再往后的发展，有三个方向： 1、 更专业：对网站用户的分析会越来越深入和专业，随着网民基数的迅速增长、网民结构越来越复杂，仅靠感觉和意识进行网站运营越来越难，必须依靠科学、专业的 数据分析，才能更好地掌握用户的行为特征，做出正确的决策； 2、 更智能

0 系列目录 秒杀系统架构 秒杀系统架构分析与实战 1 秒杀业务分析 正常电子商务流程 （1）查询商品；（2）创建订单；（3）扣减库存；（4）更新订单；（5）付款；（6）卖家发货 秒杀业务的特性 （1）低廉价格；（2）大幅推广；（3）瞬时售空；（4）一般是定时上架；（5）时间短、瞬时并发量高； 2 秒杀技术挑战 假设某网站秒杀活动只推出一件商品，预计会吸引1万人参加活动，也就说最大并发请求数是10000，秒杀系统需要面对的技术挑战有： 对现有网站业务造成冲击 秒杀活动只是网站营销的一个附加活动，这个活动具有时间短，并发访问量大的特点，如果和网站原有应用部署在一起，必然会对现有业务造成冲击，稍有不慎可能导致整个网站瘫痪。 解决方案：将秒杀系统独立部署，甚至 使用独立域名，使其与网站完全隔离 。 高并发下的应用、 数据库 负载 用户在秒杀开始前，通过不停刷新浏览器页面以保证不会错过秒杀，这些请求如果按照一般的网站应用 架构 ，访问应用服务器、连接数据库，会对应用服务器和数据库服务器造成负载压力。 解决方案：重新设计秒杀商品页面，不使用网站原来的商品详细页面， 页面内容静态化，用户请求不需要经过应用服务 。 突然增加的网络及服务器带宽 假设商品页面大小200K（主要是商品图片大小），那么需要的网络和服务器带宽是2G（200K×10000），这些网络带宽是因为秒杀活动新增的

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。 但是当网络爬虫被滥用后，互联网上就出现太多同质的东西，原创得不到保护。 于是，很多网站开始反网络爬虫,想方设法保护自己的内容。 他们根据ip访问频率，浏览网页速度，账户登录，输入验证码，flash封装，ajax混淆，js加密，图片，css混淆等五花八门的技术，来对反网络爬虫。 防的一方不惜工本，迫使抓的一方在考虑成本效益后放弃 抓的一方不惜工本，防的一方在考虑用户流失后放弃 参考： 美国高级情报官员透露,美国国家安全局前雇员斯诺登仅仅是利用普通的网络爬虫软件(Webcrawler),从国安局网络里面截取大量的机密文件与资料. 反网络爬虫:越来越成为一种新的行业 因为搜索引擎的流行，网络爬虫已经成了很普及网络技术，除了专门做搜索的Google，Yahoo，微软，百度以外，几乎每个大型门户网站都有自己的搜索引擎，大大小小叫得出来名字得就几十种，还有各种不知名的几千几万种，对于一个内容型驱动的网站来说，受到网络爬虫的光顾是不可避免的。 一些智能的搜索引擎爬虫的爬取频率比较合理，对网站资源消耗比较少，但是很多糟糕的网络爬虫，对网页爬取能力很差，经常并发几十上百个请求循环重复抓取，这种爬虫对中小型网站往往是毁灭性打击，特别是一些缺乏爬虫编写经验的程序员写出来的爬虫破坏力极强，造成的网站访问压力会非常大

回顾网站数据分析历史，从“您是第***位来访用户”到现在百家齐放的专业工具提供商，网站分析已经逐渐发展衍化成一门科学。但面对形态各异的分析数据，很多人仍然困惑于数据的来源，了解数据的收集原理，也许对你解决这些困惑有所帮助。 眼下网站分析数据主要有三种收集方式：Web日志、JavaScript标记和包嗅探器。 1. Web日志 下图是 Web日志收集数据 过程的示意图。 从上图可以看出网站分析数据的收集从网站访问者输入URL向网站服务器发出http请求就开始了。网站服务器接收到请求后会在自己的Log文件中追加一条记录，记录内容包括：远程主机名（或者是IP地址）、登录名、登录全名、发请求的日期、发请求的时间、请求的详细（包括请求的方法、地址、协议）、请求返回的状态、请求文档的大小。随后网站服务器将页面返回到访问者的浏览器内得以展现。 一些专业的工具厂商会有专门的处理服务器对大量的Log数据进行处理，并将处理后的数据存放入自己的数据库中。网站经营人员通过访问分析报表系统查看网站的分析数据。也有一些中小网站主出于成本的考虑不会求助于专业的工具厂商，他们会借助简单的网站日志分析软件完成对Log数据的处理，当然处理后的数据会有一定的局限性。 （版权归 数码林网站分析博客 所有，欢迎转载，但转载请注明出处。） 2. JavaScript标记 下图是 JavaScript标记收集数据 过程的示意图

千万级的注册用户，千万级的帖子，nTB级的附件，还有巨大的日访问量，大型网站采用什么系统架构保证性能和稳定性？ 首先讨论一下大型网站需要注意和考虑的问题。 数据库海量数据处理 ：负载量不大的情况下select、delete和update是响应很迅速的，最多加几个索引就可以搞定，但千万级的注册用户和一个设计不好的多对多关系将带来非常严重的性能问题。另外在高UPDATE的情况下，更新一个聚焦索引的时间基本上是不可忍受的。索引和更新是一对天生的冤家。 高并发死锁 ：平时我们感觉不到，但数据库死锁在高并发的情况下的出现的概率是非常高的。 文件存储的问题 ：大型网站有海量图片数据、视频数据、文件数据等等，他们如何存储并被有效索引？高并发的情况下IO的瓶颈问题会迅速显现。也许用RAID和专用存贮服务器能解决眼下的问题，但是还有个问题就是各地的访问问题，也许我们的服务器在北京，可能在云南或者新疆的访问速度如何解决?如果做分布式，那么我们的文件索引以及架构该如何规划。 接下来讨论大型网站的底层系统架构，来有效的解决上述问题。 毋庸置疑，对于规模稍大的网站来说，其背后必然是一个服务器集群来提供网站服务，例如，2004年eBay的服务器有2400台，估计现在更多。当然，数据库也必然要和应用服务分开，有单独的数据库服务器集群。对于像淘宝网这样规模的网站而言，就是应用也分成很多组。 下面

千万级的注册用户，千万级的帖子，nTB级的附件，还有巨大的日访问量，大型网站采用什么系统架构保证性能和稳定性？ 首先讨论一下大型网站需要注意和考虑的问题。 数据库海量数据处理 ：负载量不大的情况下select、delete和update是响应很迅速的，最多加几个索引就可以搞定，但千万级的注册用户和一个设计不好的多对多关系将带来非常严重的性能问题。另外在高UPDATE的情况下，更新一个聚焦索引的时间基本上是不可忍受的。索引和更新是一对天生的冤家。 高并发死锁 ：平时我们感觉不到，但数据库死锁在高并发的情况下的出现的概率是非常高的。 文件存储的问题 ：大型网站有海量图片数据、视频数据、文件数据等等，他们如何存储并被有效索引？高并发的情况下IO的瓶颈问题会迅速显现。也许用RAID和专用存贮服务器能解决眼下的问题，但是还有个问题就是各地的访问问题，也许我们的服务器在北京，可能在云南或者海南的访问速度如何解决?如果做分布式，那么我们的文件索引以及架构该如何规划。 接下来讨论大型网站的底层系统架构，来有效的解决上述问题。 毋庸置疑，对于规模稍大的网站来说，其背后必然是一个服务器集群来提供网站服务，例如，2004年eBay的服务器有2400台，估计现在更多。当然，数据库也必然要和应用服务分开，有单独的数据库服务器集群。对于像淘宝网这样规模的网站而言，就是应用也分成很多组。 下面

　LAMP（Linux-Apache-MySQL-PHP）网站架构是目前国际流行的Web框架，该框架包括：Linux操作系统，Apache网络服务器，MySQL数据库，Perl、PHP或者Python编程语言，所有组成产品均是开源软件，是国际上成熟的架构框架，很多流行的商业应用都是采取这个架构，和Java/J2EE架构相比，LAMP具有Web资源丰富、轻量、快速开发等特点，微软的.NET架构相比，LAMP具有通用、跨平台、高性能、低价格的优势，因此LAMP无论是性能、质量还是价格都是企业搭建网站的首选平台。 　　对于大流量、大并发量的网站系统架构来说，除了硬件上使用高性能的服务器、负载均衡、CDN等之外，在软件架构上需要重点关注下面几个环节：使用高性能的操作系统（OS）、高性能的网页服务器（Web Server）、高性能的数据库（Databse）、高效率的编程语言等。下面我将从这几点对其一一讨论。 　　 操作系统 　　Linux操作系统有很多个不同的发行版，如Red Hat Enterprise Linux、SUSE Linux Enterprice、Debian、Ubuntu、CentOS等，每一个发行版都有自己的特色，比如RHEL的稳定，Ubuntu的易用，基于稳定性和性能的考虑，操作系统选择CentOS（Community ENTerprise Operating

LAMP（Linux-Apache-MySQL-PHP）网站架构是目前国际流行的Web框架，该框架包括：Linux操作系统，Apache网络服务器，MySQL数据库，Perl、PHP或者Python编程语言，所有组成产品均是开源软件，是国际上成熟的架构框架，很多流行的商业应用都是采取这个架构，和Java/J2EE架构相比，LAMP具有Web资源丰富、轻量、快速开发等特点，微软的.NET架构相比，LAMP具有通用、跨平台、高性能、低价格的优势，因此LAMP无论是性能、质量还是价格都是企业搭建网站的首选平台。　　对于大流量、大并发量的网站系统架构来说，除了硬件上使用高性能的服务器、负载均衡、CDN等之外，在软件架构上需要重点关注下面几个环节：使用高性能的操作系统（OS）、高性能的网页服务器（Web Server）、高性能的数据库（Databse）、高效率的编程语言等。下面我将从这几点对其一一讨论。 　　操作系统 　　Linux操作系统有很多个不同的发行版，如Red Hat Enterprise Linux、SUSE LinuxEnterprice、Debian、Ubuntu、CentOS等，每一个发行版都有自己的特色，比如RHEL的稳定，Ubuntu的易用，基于稳定性和性能的考虑，操作系统选择CentOS（Community ENTerprise Operating System

LAMP（Linux-Apache-MySQL-PHP）网站架构是目前国际流行的Web框架，该框架包括：Linux操作系统，Apache网络服务器，MySQL数据库，Perl、PHP或者Python编程语言，所有组成产品均是开源软件，是国际上成熟的架构框架，很多流行的商业应用都是采取这个架构，和Java/J2EE架构相比，LAMP具有Web资源丰富、轻量、快速开发等特点，微软的.NET架构相比，LAMP具有通用、跨平台、高性能、低价格的优势，因此LAMP无论是性能、质量还是价格都是企业搭建网站的首选平台。 对于大流量、大并发量的网站系统架构来说，除了硬件上使用高性能的服务器、负载均衡、CDN等之外，在软件架构上需要重点关注下面几个环节：使用高性能的操作系统（OS）、高性能的网页服务器（Web Server）、高性能的数据库（Databse）、高效率的编程语言等。下面我将从这几点对其一一讨论。 操作系统 Linux操作系统有很多个不同的发行版，如Red Hat Enterprise Linux、SUSE Linux Enterprice、Debian、Ubuntu、CentOS等，每一个发行版都有自己的特色，比如RHEL的稳定，Ubuntu的易用，基于稳定性和性能的考虑，操作系统选择CentOS（Community ENTerprise Operating System