24小时咨询热线:18665232760 客服QQ:281022372 微信号:HXWL1120

规范搜索引擎蜘蛛爬网页,对网站造成有哪些好处

时间:2018-02-02 14:41:25 来源:网站优化 作者:huxian1120浏览:

[导读]: 在本文中,我将讨论搜索引擎抓取工具和搜索引擎蜘蛛活动不受控制的影响,可能会对您帐户的资源使用造成影响。为什么需要控制搜索引擎蜘蛛?

  规范搜索引擎蜘蛛爬网页,对网站造成有哪些好处

  在本文中,我将讨论搜索引擎抓取工具和搜索引擎蜘蛛活动不受控制的影响,可能会对您帐户的资源使用造成影响。

规范搜索引擎蜘蛛爬网页

  为什么需要控制搜索引擎蜘蛛?

  用搜索引擎蜘蛛来爬(抓取)网络,查找和索引新的资讯内容并提供浏览者资讯搜索,这就是网络上所用来散布信息的方式。

  如果您希望在Google或Bing等大型搜索引擎中找到您的网站内容,这是非常好的方式,不过在相同的时间上,搜索引擎蜘蛛与真的人拜访你的网站的活动方式是非常不同的,真的人来你的网站,有可能花费一些时间阅读当前的网页,他们会浏览的更多资讯,当他们愿意在网站上点击更多的链接时,很可能是对这个网站很有兴趣。

  搜索引擎蜘蛛拜访你的网站,主要的任务是要抓取你网站的上的内容,所以它们最可能从首页开始,它们轻松的的找出网站的每一个链接一个接着一个,直到发现全部的内容。

  所以一个搜索引擎蜘蛛访客,可能潜在影响数百个使用者资源,就算没有上千个访客在你的网站上,一个资源使用到极限的网站,最后可能会让网站停止运作,如果只允许真的人拜访的话,这是可以避免的,并且设定只有好的搜索引擎蜘蛛可以进入你的网站,所以这是很重要的观念。

  如何控制搜索引擎蜘蛛?

  幸运的是,大多数的守规矩的搜索引擎蜘蛛,是会跟随一个标准化的robots.txt规则文件,如果你需要进一步的了解,如何阻挡搜索引擎蜘蛛检索你的网站,你可以观看这篇文章「如何使用robots.txt阻止搜寻引擎爬(抓取)你的网站?」

  你也可以阅读此篇「如何在Google网站管理员工具中设置延迟爬(抓取)你的网站」 这个章节有步骤说明,如何控制Google的爬虫机器人。

  不幸的是,不是全部的搜索引擎蜘蛛都会顺从robots.txt规则,在这种情况下,最好的方式就是学习「使用.htaccess去阻止不需要的访客到你的网站」

相关推荐

Copyright © 2017-2018 惠州狐仙信息技术有限公司 版权所有
ICP备:[ 粤ICP备17034214号 ]
统计代码:
技术支持:狐仙网络
温馨提示: 请客户合作时务必审查对方能否提供以往作品原始文件及客户相关负责人信息;请勿上当受骗。
客服电话:18665232760
客服 QQ:281022372
投诉电话:15899879075
电子邮件:hxsem1120@163.com
联系地址:广东省惠州市惠城区东湖中路88号

微信号

微信公众号