首 页 | 联系我们 | 关于优化网 | 中国阀门网-阀门88网 WEB优化行业门户网站-WEB-YOUHUA.CN
当前位置 : 首页 >> SEO技术 >> 利用robots.txt文件集中网页权重的seo技巧
返回首页

利用robots.txt文件集中网页权重的seo技巧

时间:2012-1-12 22:19:33 来源:中国优化网 作者:Xiaoyong 人气: 609 发表评论  匿名投稿
做seo优化的应该没有没听说过robots.txt文件的吧。robots文件是搜索引擎蜘蛛来到一个网站第一个要读取的文件。robots文件的功能也很简单,大家都知道:通过读取它,搜索引擎蜘蛛就知道应该抓取哪些网页,不应该(中国阀门网-中国泵阀网-五金机械网)
  做seo优化的应该没有没听说过robots.txt文件的吧。robots文件是搜索引擎蜘蛛来到一个网站第一个要读取的文件。robots文件的功能也很简单,大家都知道:通过读取它,搜索引擎蜘蛛就知道应该抓取哪些网页,不应该抓取哪些网页。

       在robots文件中,我们已经可以禁止蜘蛛抓取图片、会员隐私页面、管理后台页面、以及一些对seo无用的页面和js文件、css文件等等。

       站在seo优化的角度考虑,robots文件当中我们还应该进行设置,让某些对seo毫无意义的页面也不被蜘蛛抓取。这些页面我们只需要提供给用户的,而搜索引擎收录毫无意义,最重要的是,它将分散网页的权重。

       那么如何设置robots.txt文件呢?注意从以下几个基本点出发:
       一、
      404页面。我们假设网站中其他需要被屏蔽的网页已经设置妥当。然后你第一个要禁止蜘蛛抓取的页面是-网站的404页面,包括seo人员之前已经自行定义好的404页面。
   
       网站的404页面在网页中可能出现多次,因此应该在robots.txt文件中添加这条规则:

                                        Disallow:/404.html

       二、
       网站次导航页面。在网站底部拥有许多次导航条目。比如“法律声明”、“联系我们”“网站声明”“等等都是提高给网站用户的。这些页面可能是全站显示,实际上对seo优化无任何帮助,不应该被蜘蛛抓取。因此屏蔽,你必须在robots.txt文件中设置。

       这些导航页面在网站的哪个目录之下呢?通常应该是网站根目录下的“/main”目录之下,有的可能出现在footer或者header文件当中,你可以根据自己网站的类型去寻找。

       如果你不愿意使所有次导航都禁止搜索引擎蜘蛛抓取,那你可以在robots.txt文件中采取如下的写法:

                   Allow:/main/*
                   Disallow:/main/

       首选允许蜘蛛抓取/main目录下的某些文件,当这些例外设置完毕,在加上Disallow:/main/。

       三、
       网站站内搜索目录。很多论坛或者其他行业站都提供了站内搜索文章的功能。从seo角度来看,这个页面不应该让蜘蛛再次爬取。也应该禁止,在你的robots.txt文件中这样设置:

                  Disallow:/search.php/  (根据网站的程序语言类型以及搜索功能目录来确定)
                  

       这样,利用robots.txt文件集中网页权重的seo工作我们已经做得差不多了,如果还有一些页面对seo没有好处,不能带来流量、seo效果,只为呈现给用户的页面,也可以利用robots文件这样设置。

       文章本人原创,为seo why论坛发展添砖加瓦,希望对你的seo工作有所帮助”欢迎转载www.web-youhua.com文章,谢谢

(责任编辑:Xiaoyong)
------分隔线----------------------------
本公司致力于网站建设,网站优化,搜索引擎优化(SEO),Google左侧排名等服务。欢迎转载收藏web-youhua.com
用户名:  验证码:   
理智评论文明上网,拒绝恶意谩骂  [ 查看全部 ] 网友评论
相关推荐