scraping

背景 Web Scraping 在大数据时代，一切都要用数据来说话，大数据处理的过程一般需要经过以下的几个步骤 数据的采集和获取 数据的清洗，抽取，变形和装载 数据的分析，探索和预测 数据的展现 其中首先要做的就是获取数据，并提炼出有效地数据，为下一步的分析做好准备。 数据的来源多种多样，以为我本身是足球爱好者，而世界杯就要来了，所以我就想提取欧洲联赛的数据来做一个分析。许多的网站都提供了详细的足球数据，例如： 网易 http://goal.sports.163.com/ 腾讯体育 http://soccerdata.sports.qq.com/ 虎扑体育 http://soccer.hupu.com/ http://www.football-data.co.uk/ 这些网站都提供了详细的足球数据，然而为了进一步的分析，我们希望数据以格式化的形式存储，那么如何把这些网站提供的网页数据转换成格式化的数据呢？这就要用到 Web scraping 的技术了。简单地说，Web Scraping就是从网站抽取信息， 通常利用程序来模拟人浏览网页的过程，发送http请求，从http响应中获得结果。 Web Scraping 注意事项 在抓取数据之前，要注意以下几点： 阅读网站有关数据的条款和约束条件，搞清楚数据的拥有权和使用限制 友好而礼貌，使用计算机发送请求的速度飞人类阅读可比

对于互联网人来说，web data scraping (web数据采集)已经成为一个迫切而又实在的需求。在如今这个开源的时代，问题往往不在于是否有解决方案，而是如何选择适合你的解决方案，因为总是有很多潜在的方案供你选择。web data scraping当然也不例外，笔者认为，我们至少有四种类型的方案可以选择， 1. web scraping software 专用的数据采集软件不需要你编写任何代码，你只需要配置一些信息，例如采集的目标网址、兴趣字段等等。然而，学习如何使用这些软件却是一项非常费力的事情，大部分都需要有一定的技术背景，常常需要了解的技术有：xpath, html, regular expression。笔者列举几款这方面的软件如下， 火车头采集器 ----支持输出到各种数据库 A1 Website Scraper ------ 支持输出到csv文件； bget web data extraction ----- 支持输出到数据库和csv文件； 更多这方面的软件信息，可以参考这份文档： collections of web scraping software and server 2. web scraping framework scraping framework可能是developer的最佳选择，因为其功能强大且效率高