◎网速测试 ◎IP查询 ◎Alexa排名
首 页 关于我们 网站建设 网站推广 网站优化 业务流程 案例展示 推荐文章
 
文章分类
网站优化SEO
网站安全管理
网络营销策略
建站指南
设计前沿
代码分享
利用robots.txt文件保护您网站的隐私部分

日期:2008-5-26

    各位站长,你好!

    你也许遇到过这样的麻烦:当你的网站有一些隐私的信息资料,比如客户资料,联系方法等,也许这些资料你是在后台管理里面,需要管理员正确登录后才能查看,但是,一段时间后,你可能会在各搜索引擎能搜索出你后台需要登录才能查看的信息,虽然点击查看连接到你网站时是需要登录的,但是,很多搜索引擎都有快照功能,在快照里,已经暴露了部分的隐私信息,而这个快照游不是我们可以及时更新的,所以,只能眼睁睁的看着自己的隐私信息暴露于公众。

    因为,搜索引擎的网络蜘蛛(或者说是网络机器人),它在扫描你的网站的时候,是无权限的。简单的说,即使在正常浏览看来要登录权限的部分,于它们来说是没有权限的,也就是全站透明。那么,这是不是很另你头痛呢?删除吗?但这些资料是必须的,不删除,又不想暴露这些隐私信息。怎么办呢?

    其实,搜索引擎已经把这个问题考虑好了,就是利用robots.txt文件,就可以轻松帮你解决这个烦恼。

   

  • 什么是robots.txt文件?
    搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。您可以在您的网站中创建一个纯文本文件robots.txt,在文件中声明该网站中不想被robot访问的部分或者指定搜索引擎只收录特定的部分。

    请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件或者创建一个内容为空的robots.txt文件。

     
  • robots.txt文件放在哪里?

    robots.txt文件应该放在网站根目录下。举例来说,当spider访问一个网站(比如http://www.abc.com)时,首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件,如果机器人找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。

    网站 URL 相应的 robots.txt的 URL
    http://www.w3.org/ http://www.w3.org/robots.txt
    http://www.w3.org:80/ http://www.w3.org:80/robots.txt
    http://www.w3.org:1234/ http://www.w3.org:1234/robots.txt
    http://w3.org/ http://w3.org/robots.txt

     
  • 我放置或者刚刚修改了robots.txt的内容,大约多长时间能生效?
    baiduspider通常每天访问一次网站的robots.txt文件,您对robots所做的修改,会在48小时内生效。需要注意的是,robots.txt禁止收录以前百度已收录的内容,从搜索结果中去除可能需要数月的时间。

     
  • 我在robots.txt中设置了禁止百度收录我网站的内容,为何还出现在百度搜索结果中?
    如果其他网站链接了您robots.txt文件中设置的禁止收录的网页,那么这些网页仍然可能会出现在百度的搜索结果中,但您的网页上的内容不会被抓取、建入索引和显示,百度搜索结果中展示的仅是其他网站对您相关网页的描述。

     
  • 禁止搜索引擎在搜索结果中显示网页快照,而只对网页建索引
    百度支持通过设置网页的meta,防止搜索引擎显示网站的快照。方法如下:
    要防止所有搜索引擎显示您网站的快照,请将此元标记置入网页的 <HEAD> 部分:
    <meta name="robots" content="noarchive">
    要允许其他搜索引擎显示快照,但仅防止百度显示,请使用以下标记:
    <meta name="baiduspider" content="noarchive">
    注:此标记只是禁止百度显示该网页的快照,百度会继续为网页建索引,并在搜索结果中显示网页摘要。

     
  • robots.txt文件的格式
    "robots.txt"文件包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:
    "<field>:<optionalspace><value><optionalspace>"。

    在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow和Allow行,详细情况如下:

    User-agent:
       该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则对任何robot均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中,加入"User-agent:SomeBot"和若干Disallow、Allow行,那么名为"SomeBot"只受到"User-agent:SomeBot"后面的Disallow和Allow行的限制。

    Disallow:
       该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html,而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。"Disallow:"说明允许robot访问该网站的所有url,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。

    Allow:
       该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。

    需要特别注意的是Disallow与Allow行的顺序是有意义的,robot会根据第一个匹配成功的Allow或Disallow行确定是否访问某个URL。

    使用"*"和"$":
    baiduspider支持使用通配符"*"和"$"来模糊匹配url。

       "$" 匹配行结束符。
       "*" 匹配0或多个任意字符。

     
  • URL匹配举例
    Allow或Disallow的值 URL 匹配结果
    /tmp /tmp yes
    /tmp /tmp.html yes
    /tmp /tmp/a.html yes
    /tmp/ /tmp no
    /tmp/ /tmphoho no
    /tmp/ /tmp/a.html yes
    /Hello* /Hello.html yes
    /He*lo /Hello,lolo yes
    /Heap*lo /Hello,lolo no
    html$ /tmpa.html yes
    /a.html$ /a.html yes
    htm$ /a.html no

     
  • robots.txt文件用法举例
    例1. 禁止所有搜索引擎访问网站的任何部分
    下载该robots.txt文件
    User-agent: *
    Disallow: /

    例2. 允许所有的robot访问
    (或者也可以建一个空文件 "/robots.txt")

    User-agent: *
    Disallow:

    或者
    User-agent: *
    Allow: /
    例3. 仅禁止baiduspider访问您的网站 User-agent: baiduspider
    Disallow: /
    例4. 仅允许baiduspider访问您的网站 User-agent: baiduspider
    Disallow:


    User-agent: *
    Disallow: /
    例5.禁止spider访问特定目录
      在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明,而不能写成 "Disallow: /cgi-bin/ /tmp/"。
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /tmp/
    Disallow: /~joe/
    例6. 允许访问特定目录中的部分url
    User-agent: *
    Allow: /cgi-bin/see
    Allow: /tmp/hi
    Allow: /~joe/look
    Disallow: /cgi-bin/
    Disallow: /tmp/
    Disallow: /~joe/
    例7. 使用"*"限制访问url
       禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
    User-agent: *
    Disallow: /cgi-bin/*.htm
    例8. 使用"$"限制访问url
       仅允许访问以".htm"为后缀的URL。
    User-agent: *
    Allow: .htm$
    Disallow: /
    例9. 禁止访问网站中所有的动态页面
    User-agent: *
    Disallow: /*?*
  •     相信,站长们看完robots.txt文件用法介绍后,您的问题已不费吹灰之力就解决了吧。


    版权所有 桂林网站建设网 Copyright © GX360 All Rights Reserved.
    桂ICP备06006609号