有的网站使用了不利于蜘蛛爬行的技术,这些技术被称为蜘蛛陷阱。网站想要有好的排名就必须避免这些蜘蛛陷阱。避免蜘蛛陷阱应该先了解网站常见的蜘蛛陷阱有哪些。
1. Flash
  在网页的某一小部分使用Flash增强视觉效果是很正常的,比如用Flash做成的广告、图标等。这种小Flash和图片是一样的,页面上还有其他以 文字为主的内容,所以对搜索引擎爬行没有影响。但是有的网站整个首页就是一个Flash文件,这就形成了蜘蛛陷阱。搜索引擎抓取的HTML代码只有一个 Flash文件的链接,没有其他文字内容。搜索引擎无法读取Flash文件中的内容。也有的网站喜欢在首页放一个Flash动画片头(Flash Intro),用户访问网站看完片头后跳转到真正的HTML版本的网站首页。搜索引擎不能读取Flash,也就无法从Flash Intro跟踪到HTML版本页面。
2. 各种跳转
  除了301重定向以外,搜索引擎对其他形式的跳转都比较敏感,如302跳转、Js跳转、Flash 跳转。如果必须跳转,301重定向是搜索引擎推荐用于URL更改的跳转,可以把页面权重从旧网址转移到新网址。其他跳转方式都对蜘蛛爬行不利,黑帽SEO 经常使用跳转欺骗搜索引擎,所以很多跳转对搜索引擎都不友好。除非万不得己,否则尽量不要使用301重定向以外的跳转。
3. 框架结构
  使用框架结构设计页面,曾经挺流行,因为对网站的页面更新维护十分方便。不过现在的网站已经很少使用框架了,不利于搜索引擎爬行是框架越來越不流行的 原因之一。对搜索引擎来说,访问一个使用框架的网页,所抓取的HTML只包含调用其他HTML文件的代码,并不包含任何文字信息,搜索引擎无法判断这个网 页的内容是什么。虽然蜘蛛可以跟踪框架中所调用的其他HTML文件,但是这些文件是不完整的页面。搜索引擎也无法判断框架中的页面内容应该属于主框架,还 是属于框架调用的文件。
4. JavaScript 链接
  由于JavaScript可以创造出很多吸引人的视觉效果,有些网站喜欢使用JavaScript脚本生成导航系统。这也是比较严重的蛛蛛陷阱之一。虽然搜索引擎都在尝试解析JS脚本,不过我们不能寄希望于搜索引擎去克服困难,而应该让搜索引擎爬行的工作尽量容易。
  据观察,虽然有的搜索引擎在技术上可以获得JavaScript脚本中包含的链接,甚至可以执行脚本并跟踪链接,但对一些权重比较低的网站,搜索引擎 觉得没有必要,便不会费那个劲。所以网站上的链接必须使用最简单标准的HTML链接。尤其是导航系统,用CSS做导航系统一样可以实现很多视觉效果。
5. 要求登录
  有些网站需要用户登录之后才能看到内容,这部分内容搜索引擎无法爬行。蜘蛛不能填写用户名、密码,也不会注册。
  如果想要网站排名靠前,那么网站设计时就应该尽量避免蜘蛛陷阱,蜘蛛无法爬行网站,搜索引擎无法收录网页,那就更加不要谈什么快照,什么排名了。