蜘蛛搜索

手段一： Robots协议：用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽；可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容；设置网站地图连接，方便引导蜘蛛爬取页面。 spider在访问一个网站是，会首先检查该网站的根域下是否有一个叫做robots.txt的纯文本文件，这个文件用于指定spider在您网站上抓取范围。 一般屏蔽有：隐私资料，表结构 robots文件是存在于网站的根目录下，首先会检查http://www.123.com/robots.txt这个文件。 robots格式： User-agent: ( 代表所有搜索引擎) Disallow:（不允许抓取的相对路径） allow:（允许抓取的相对路径或文件） robots.txt生成器： https://robots.51240.com/ 文件用法 例: 禁止所有搜索引擎访问网站的任何部分 User-agent: * Disallow: / 实例分析：淘宝网的 Robots.txt文件:访问www.taobao.com/robots.txt User-agent: Baiduspider Allow: /article Allow: /oshtml Disallow: /product/ Disallow: / User-Agent:

一位读者在蜘蛛抓取配额是什么这篇帖子留言： 不对呀，这个index标签，是指告诉蜘蛛可以抓取该页面，那么noindex不就是不允许抓取该页面吗？！那么为什么文章最后的几个说明里有“noindex标签不能节省抓取份额。搜索引擎要知道页面上有noindex标签，就得先抓取这个页面，所以并不节省抓取份额。” 留言说明，这位读者并没有太明白什么是抓取，什么是索引，index和noindex标签的意义又是什么。noindex标签不是不允许抓取该页面，是不允许索引该页面，这两者是不同的意思，有不同的功能。 看SEO有关博客和论坛时能感觉到，很多SEO并没有理解爬行、抓取、索引、收录这些概念到底指的是什么，区别在哪，noindex、nofollow、robots文件的功能又是什么。对这些概念没有精准理解，处理大型网站结构，决定什么页面需要被抓取，什么需要被索引，哪些页面需要禁止抓取、索引等等情况时，就很难明白该怎么做。甚至就像抓取配额那篇帖子的很多留言说的，提到这些情况的处理时，根本看不懂在说什么。 这么基本、重要，又比较容易混淆的SEO概念，我以为以前在博客里写过了，看了留言，翻翻以前帖子才知道，原来以前没写过。SEO实战密码书里是有写的，但SEO每天一贴里并没有写过。今天补上。 爬行是什么？ 爬行指的是搜索引擎蜘蛛从已知页面上解析出链接指向的URL，然后沿着链接发现新页面