1、唯一的URL、唯一的内容
在搜索引擎蜘蛛眼里，比较理想状态是，一个“名字”可以对应一个“人”，也就是唯一URL、唯一内容的意思，所以当你越接近这个状态，那么越容易被抓取和收录。
对于一般站长，我的建议是整站静态，并对所有的动态文件，禁止搜索引擎蜘蛛抓取，可以很有效实现唯一的URL、唯一的内容目的。
2、限制搜索引擎蜘蛛抓取内容
现在很多CMS程序，都支持用户功能，但是这种掺入用户相关参数URL，对于搜索引擎蜘蛛来说，并不是一件好事情，因为很多URL地址不规则，而且存在某些缺陷，容易让蜘蛛陷入死循环，而且更麻烦的是，因为内容基本相同，导致了一个页面存在N多URL，可是犯了大忌讳哟。
3、不可能存在的页面，真实存在
有些站长朋友，或有意、或无意的期望搜索引擎蜘蛛多抓取，制造网站无限页面，当你输入page=99999这种完全不可能存在列表页，还能返回一个正常200代码，这种情况将恶意消耗蜘蛛和你的宽带，往往会被丢弃。
搜索引擎蜘蛛吸引之外部吸引
1、合乎情理的外链
以前我曾写过一篇怎样才算好的外链?主要是讲了发外链理想条件，如果达不到也没有关系，只要是合乎情理的外链，内容和外链之间肯定是存在相关性的就行。
当搜索引擎蜘蛛通过像TF/IDF算法，帮助它刚抓取的文章获得一个关键词时候，而你的外链刚好出现，又是和关键词相关，蜘蛛就像一个研究者，会迫不急待想要一睹为快了。
2、内容像可口的甜点
每天都有很多人在喂蜘蛛，当然食物中也会有很多一样的，所以蜘蛛养成了馋嘴习惯，如果不是可口的内容，它可能会厌烦哟。
如果你觉得我说的有道理的话，就请多花点时间，好好再次阅读一遍，因为很多知识都是非常有价值的，另外如果你有吸引搜索引擎蜘蛛其他办法，欢迎在下面的评论中写出来，大家一起交流，期待摩擦出来新的火花。
来源：https://www.cnblogs.com/regalchina/archive/2012/03/23/2414070.html