当前位置:首页 > 设计集萃 > robots.txt文件的写法

robots.txt文件的写法

作者:不详来源:网络2009-07-12 07:52:43
robots.txt文件的写法

    robots.txt文件的写法你知道多少呢?对比一下下面的例子:

    1、禁止所有搜索引擎访问网站的任何部分,也就是是禁止任何搜索引擎收录你的网站。
    User-agent: *
    Disallow: /

    2、允许所有的搜索引擎访问你的网站的任何部分,这是通常的用法。
    User-agent: *
    Disallow:
    或者
    User-agent: *
    Allow: /

    3、仅禁止某一搜索引擎访问你的网站。百度是baiduspider Google是googlebot
    User-agent: baiduspider
    Disallow: /
    或者
    User-agent: googlebot
    Disallow: /

    4、仅仅允许某一搜索引擎访问你的网站。同样百度是baiduspider Google是googlebot
    User-agent: baiduspider
    Disallow:
    或者
    User-agent: googlebot
    Disallow:

    5、如果你网站的某个目录不希望被搜索引擎收录,写法如下:
    User-agent: *
    Disallow: /目录名称1/
    Disallow: /目录名称2/
    Disallow: /目录名称3/
    注意:不能写成Disallow: /目录名称1/ /目录名称2/ 这样的形式,每个目录要单独另起一行特别说明。

    6、禁止搜索引擎访问网站中所有的动态页面(动态页面就是URL中任何带有“?”的页面)
    User-agent: *
    Disallow: /*?*

    7、仅仅允许搜索引擎访问某一特定文件后缀形式的网页。
    User-agent: *
    Allow: .后缀形式(如.html、.htm、.php等等)$
    Disallow: /

    8、限制搜索引擎访问某一特定文件后缀形式的网页。
    User-agent: *
    Disallow: /*.后缀形式(如.html、.htm、.php等等)

    9、允许搜索引擎访问特定目录中的网页
    User-agent: *
    Allow: /目录1/目录2 (允许访问目录2中的网页)
    Allow: /目录3/目录4 (允许访问目录4中的网页)
    Allow: /目录5/目录6 (允许访问目录6中的网页)
    Disallow: /目录1/
    Disallow: /目录3/
    Disallow: /目录5/

    10、阻止搜索引擎访问网站中特定某一文件格式的文件(注意不是网页)
    User-agent: *
    Disallow: /*.(文件格式:如gif、jpg等等)$

12

© 2001-2020 www.DreamArt.cn All Rights Reserved.

点击这里给我发消息 电子邮件联系我们

吉ICP备16008406号-2   吉公网安备22012202000040号