网站设计公司易捷网络:专注企业网站设计

Robots的5个好处和Robots的风险及应对办法

来源:易捷网站设计公司     时间:2019-04-15

声明:本网站由深圳网站建设网站编辑原创,如果您本文感兴趣,敬请保留文章内部链接,否则,本站将会以侵权进行处理。

1.一般来说,谷歌和百度的搜索引擎的蜘蛛都是遵循robots.txt给出的规则来在你的网站上爬行,robots协议规定搜索引擎进入你网站的入口就是该网站的robots.txt文件,但有一个前提是该robots.txt文件必须存在。如果你的网站没有定义robots.txt文件,那么会是一个什么情况呢?

显然蜘蛛会被重定向至404错误页面,很多seoer的经验,假设你的网站自定义了404页面,那么蜘蛛会把其视作robots.txt,所以从这里可以看出,没有robots.txt文件的网站会给蜘蛛索引网站带来非常大的困扰,从而影响搜索引擎收录你的网站页面内容。

2.robots.txt第二个好处是可以限止不需要的搜索引掣来你的网站爬行,以缓解服务器的宝贵带宽资源,如邮件服务器、Erp服务器,这类服务对搜索引擎是没有任何意义的;比如淘保网站就用robots限止了蜘蛛的爬行。

3.如果我的网站有些文件是非公开的,那么我可以用robots.txt做说明,不让搜索引掣来爬行,比如我们网站的后台管理程序,实际上,一些在运行中产生临时页面的网站,假设没有在robots.txt进行说明,搜索引擎都会去索引那些临时文件。

4.如果你的网站内容,有很多很多的页面,,那么配置robots.txt是必须的,原因是很多时候蜘蛛洪水般的访问会给网站造成巨大的压力,假设你不用robots来控制,有可能会造成你的网站拒绝访问。

5.一个网站一般主题是相关的,那么不可避免地会产生很多页面比较相似的内容,对于搜索引掣来说,页面相似度太高,它可能会给你处罚,那么利用robots.txt限制某些页面不补收录就可以很好地帮你解决这个问题。

robots.txt的风险及应对办法:

1.任何事情有好的一面也有不好的一面,robots.txt在给网站带来以上好处的同时也会存在一定的风险:第一就是给那些不怀好意思的攻击者指明了你网站的目录结构和私密数据所在的位置,虽然现在我们的服务器安全提高了好多,但任何事情我们都要做到防范于未然。

比如说,我的网站中的私密数据通过这个地址www.szmynet.com/private/index.html#访问,在robots.txt中的设置我是这么设置的:

User-agent:*

Disallow:/private/

robots.txt文件很明显地指出了你要隐藏的内容在哪里,在浏览器中输入www.szmynet.com/private/#便可访问我们的私密内容。

那么我们要怎么解决这个问题呢?

a.对/private/目录设置访问权限,比如密码保护。

b.将目录下的默认的主页面更名为如:123-protect.html,与此同进,再设计一个新的index.html文件,页面内容可以写“不好意思,你没有权限访问此页”。

2.不小心将robots文件设置错误,可能会导致你已经被收录的数据会被搜索引掣给删除。如:

User-agent:*

Disallow:/

以上两行代码的意思就是不让任何搜索引擎索的蜘蛛来网站收录,更多建站资讯请关注易捷网络。

深圳网站设计公司易捷网络科技是一家专业从事深圳网站建设和深圳网页设计的深圳网络公司,主要经营的业务有:深圳网站建设、网页设计、网站推广优化、企业邮箱申请、网站域名空间备案。欢迎来电咨询(微信同号):13714247375
返回上一级
您可能需要:
网站设计图标
企业网站设计
高速稳定的国内空间,免费备案的香港、国外空间,单线、双线以多线空间
点击咨询
关键字推广优化图标
网站推广优化
指定网站关键词,确保一月之内优化到搜索引擎得首页,到首页之后再收费
点击咨询
企业邮箱图标
企业邮箱申请购买
以企业官网后缀为名称的邮箱,彰显公司企业形象,先试用,满意后再付款
点击咨询
国徽图标
网站域名空间备案
域名空间提交国家工信部备案审核,十五天即可完成,网站备案实名势在必行
点击咨询
网站设计相关资讯推荐
服务器对SEO的影响
极简主义的网站设计需要哪些元素来搭配
互联网服务:从个性化到人性化
没有必要等一切都准备妥当オ开始
家具行业网站建设小心上当受骗
什么是nofollow标签有哪些应用
网站建设如何获得良好的用户体验
网站排名为什么会不稳定
深圳网页设计公司有哪些特征
网站建设制作前需做什么准备才能更有效的制作好网站
为域名取名的技巧
SEO优化绩效考核
网站建设中内容需要重视的五个方面
行业动态老年远程教育网站存在的不足
深圳营销网站制作:不仅仅是建站
QQ在线咨询