网站推广限制收录的关键字
发布者:中至胜  发布时间:2012-07-19 10:22:02  浏览次数:745次
很多时候很优化人员对于网站优化都只关注自己网站的页面是否被搜录很少去关注禁止搜录的机制。我也很少关注。也许会很奇怪为什么要这种机制,大家都希望之自己的页面能被搜录的,但是还有些网站建设后在测试阶段的或者是复制别人内容的一些页面等,这些都不希望搜录。网站建设行业里有很多都是要了解点的。
      怎样禁止收录呢?
      可以在网站上不出现连接,使用JS,flash链接,使用nofollow等方法,这些有限制搜录,但都不能保证页面一定不被收录。
      robots文件这种方法会很有效,
      搜索引擎蜘蛛访问网站时通常会查看一下网站的根目录下是否有一个以“robots.txt”命名的纯文本文件,robots.txt的作用是用于指令搜索引擎禁止抓取网站的某些内容或者允许抓取某些制定的内容。由于有的服务器设置有点问题,robots文件不存在时会返回202状态码及一些错误信息,而不是404状态码,这有可能导致搜索引擎错误解读robots文件信息,所以就算你要允许蜘蛛抓取所有信息,也要建一个空的      robots.txt文件放在根目录下,注意如下几点:
      1.必须命名为:robots.txt,并且字母都是小写,robot后面加”s”。
      2.robots.txt必须放置在一个网站的根目录下。如:通过http://www.***.com/robots.txt 可以成功访问到,则说明设置成功。
      3.Robots文件由记录组成,记录行之间必须以空行分开。
     一般情况下,robots.txt里只写着两个函数:User-agent和 Disallow。
     一般格式如下:
      User-agent:*
     
Disallow:/
     以上表示robots文件禁止所有搜索引擎抓取任何信息。